Як вивести дисперсійно-коваріантну матрицю коефіцієнтів у лінійній регресії

Я читаю книгу про лінійну регресію і маю деякі проблеми з розумінням дисперсійно-коваріаційної матриці :$\mathbf{b}$

Діагональні елементи досить прості, але поза діагоналі трохи складніше, що мене що

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

але тут немає і сліду та .$\beta_0$$\beta_1$

Це насправді класне питання, яке ставить під сумнів ваше основне розуміння регресії.

Спочатку вийміть будь-яку початкову плутанину щодо позначень. Ми дивимось на регрес:

$$y=b_0+b_1x+\hat{u}$$

де і є істинних та , а - залишки регресії. Зауважимо, що реальна регресія, що лежить в основі, позначається як:$b_0$$b_1$$\beta_0$$\beta_1$U$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

З очікуванням і дисперсії . Деякі книги позначають як і ми адаптуємо цю умову тут. Ми також використовуємо матричне позначення, де b - 2х1 вектор, який містить оцінювачі , а саме . (Також для наочності я ставлюсь до Х як визначено в наступних розрахунках.)$E[u]=0$$E[u^2]=\sigma^2$$b$& beta ; & beta ; = [ & beta ; 0 , & beta ; 1 ] ' Ь = [ Ь 0 , Ь 1 ] '$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Тепер до вашого питання. Ваша формула коваріації справді правильна, тобто:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Я думаю, ви хочете знати, як у цій формулі є справжні коефіцієнти ? Вони насправді скасовуються, якщо ми зробимо це на крок далі, розширивши формулу. Для цього зауважте, що дисперсія популяції оцінювача задається:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Ця матриця містить варіації діагональних елементів та коваріацій у позадіагональних елементах.

Щоб прийти до вищенаведеної формули, давайте узагальнимо вашу заяву, використовуючи матричну нотацію. Отже, позначимо дисперсію з а очікування - з .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

По суті, ми маємо загальну формулу дисперсії, просто використовуючи матричне позначення. Рівняння розв’язується при заміні в стандартному виразі для оцінювача . Також припустимо, що є неупередженим оцінювачем. Отже, ми отримуємо:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Зауважимо, що у нас з правого боку - 2x2 матриця, а саме , але ви, можливо, вже вгадаєте, що буде з цим терміном незабаром.$\beta^2$$bb'$

Замінивши нашим виразом на справжній базовий процес генерування даних вище, ми маємо:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

оскільки . Крім того, квадратичний термін скасовується як очікувалося.$E[u]=0$$\beta^2$

Таким чином, ми маємо:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

За лінійністю очікувань. Зауважимо, що за припущенням і оскільки є симетричною матрицею і, таким чином, є її транспозицією. Нарешті ми доходимо$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Тепер, коли ми позбулися всіх термінів. Інтуїтивно, дисперсія оцінювача не залежить від значення справжнього базового коефіцієнта, оскільки це не є випадковою змінною. Результат справедливий для всіх окремих елементів в матриці коваріації дисперсії, як показано в книзі, таким чином, також дійсний і для вимкнених діагональних елементів, а також для для скасування відповідно. Єдина проблема полягала в тому, що ви застосували загальну формулу для дисперсії, яка спочатку не відображає це скасування.$\beta$$\beta_0\beta_1$

Зрештою, дисперсія коефіцієнтів зводиться до і не залежить від . Але що це означає? (Я вважаю, ви також попросили більш загальне розуміння загальної матриці коваріації)$\sigma^2(X'X)^{-1}$$\beta$

Подивіться на формулу в книзі. Він просто стверджує, що дисперсія обчислювача збільшується, коли справжній базовий помилка є більш галасливим ( збільшується), але зменшується, коли розширення X збільшується. Оскільки наявність спостережень, розподілених навколо справжнього значення, дозволяє вам, як правило, побудувати точніший і таким чином наближений до істинної . З іншого боку, умови коваріації на позадіагоналі стають практично актуальними при тестуванні гіпотез спільних гіпотез, таких як . За винятком того, що вони трохи підступні, насправді. Сподіваюсь, це пояснює всі питання.$\sigma^2$ β b 0 = b 1 = 0$\beta$$b_0=b_1=0$

У вашому випадку ми маємо

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Інвертуйте цю матрицю, і ви отримаєте бажаний результат.

Здається, що - це прогнозовані значення (очікувані значення). Вони роблять перемикання між і . E ( b 0 ) = β 0 E ( b 1 ) = β $\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$