Чи не пов'язані оцінки коефіцієнтів регресії?

Розглянемо просту регресію (нормальність не передбачається):

$$Y_i = a + b X_i + e_i,$$ де $e_i$ з середнім значенням $0$ і стандартне відхилення $\sigma$. Оцінки найменших квадратних$a$ і $b$ некорельований?

Це важливе врахування при розробці експериментів, де бажано не мати (або дуже мало) співвідношення серед оцінок $\hat a$ і $\hat b$. Така відсутність кореляції може бути досягнута, контролюючи значення значення$X_i$.

---

Проаналізувати наслідки дії $X_i$ на оцінки, значення $(1,X_i)$ (які є рядними векторами довжини $2$) збираються вертикально в матрицю $X$, матриця дизайну, що має стільки рядків, скільки є даних і (очевидно) два стовпці. Відповідне$Y_i$ збираються в один довгий (стовпчик) вектор $y$. У цих умовах написання$\beta = (a,b)^\prime$ для зібраних коефіцієнтів модель є

$$\mathbb{E}(Y) = X \cdot \beta$$

The $Y_i$ вважаються (як правило) незалежними випадковими змінними, відхилення яких є постійними $\sigma^2$ для якогось невідомого $\sigma \gt 0$. Залежні спостереження$y$ вважаються однією реалізацією векторної значення випадкової величини $Y$.

Рішення OLS є

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

припускаючи, що ця матриця обернена. Таким чином, використовуючи основні властивості множення матриці та коваріації,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Матриця $\left(X^\prime X\right)^{-1}$ має всього два ряди та два стовпці, що відповідають параметрам моделі $(a,b)$. Кореляція$\hat a$ з $\hat b$ пропорційна недіагональним елементам $(X^\prime X)^{-1},$які за правилом Крамера пропорційні крапковому добутку двох стовпців$X$. Оскільки одна з колонок - це все$1$s, чий точковий добуток з іншим стовпцем (що складається з $X_i$) - їхня сума, ми знаходимо

$\hat a$ і $\hat b$ є неспорідненими, якщо і лише сума (або еквівалентно середня) значення $X_i$ дорівнює нулю.

Ця умова ортогональності часто досягається за рахунок центрування$X_i$(віднімаючи їх середнє значення від кожного). Хоча це не змінить оцінений ухил$\hat b$, це змінює оцінене перехоплення $\hat a$. Чи важливо це чи ні, залежить від програми.

---

Цей аналіз застосовується до множинної регресії: проектна матриця матиме $p+1$ стовпців для $p$ незалежні змінні (додатковий стовпчик складається з $1$з) і $\beta$ буде вектором довжини $p+1$, але в іншому випадку все проходить, як і раніше.

Умовно кажучи, два стовпчики $X$називаються ортогональними, коли їх точковий добуток дорівнює нулю. Коли один стовпчик з$X$ (скажіть стовпчик $i$) є ортогональним для всіх інших стовпців, це легко продемонстрований алгебраїчний факт, що всі позадіагональні записи в рядку $i$ і стовпчик $i$ з $(X^\prime X)^{-1}$ дорівнюють нулю (тобто $ij$ і $ji$ компоненти для всіх $j\ne i$дорівнюють нулю). Отже,

Дві оцінки множинних коефіцієнтів регресії $\hat\beta_i$ і $\hat\beta_j$ є некорельованими, коли будь-який (або обидва) відповідних стовпців проектної матриці є ортогональними для всіх інших стовпців.

Багато стандартних експериментальних конструкцій складаються з вибору значень незалежних змінних, щоб зробити стовпчики взаємно ортогональними. Це "відокремлює" отримані оцінки, гарантуючи - перш ніж будь-які дані будуть зібрані! - що оцінки не будуть відповідати. (Коли відповіді мають звичайні розподіли, це означає, що оцінки будуть незалежними, що значно спрощує їх тлумачення.)