Інтуїтивне пояснення терміну в дисперсії оцінювача найменшого квадрата

18

Якщо є повним рангом, існує обернена , і ми отримуємо оцінку найменших квадратів: та $X$ $X^TX$

\hat{β} = (X^{T} X)^{- 1} X Y

$\hat\beta = (X^TX)^{-1}XY$

Var (\hat{β}) = σ^{2} (X^{T} X)^{- 1}

$\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1}$

Як можна інтуїтивно пояснити у формулі дисперсії? Техніка виведення для мене зрозуміла. $(X^TX)^{-1}$

regression variance least-squares

— Данило Єфімов
джерело

3

Ви можете додати примітку, щоб вказати, що формула, яку ви вказали для матриці коефіцієнта дисперсії - припускаючи, що оцінюється OLS, є правильною лише у випадку, якщо умови теореми Гаусса-Маркова задовольняються, зокрема, лише якщо матриця дисперсії та коваріації термінів помилки задана , де - матриці тотожності, а - число ряди (і ). Формула ви надали це НЕ вірно для більш загального випадку несферичних помилок.

\hat{β}

$\hat{\beta}$

\hat{β}

$\hat{\beta}$

σ^{2} I_{n}

$\sigma^2 I_n$

I_{n}

$I_n$

n \times n

$n\times n$

n

$n$

X

$X$

Y

$Y$

— Міко

13

Розглянемо просту регресію без постійного терміну, і там, де одиничний регресор зосереджений на середній вибірці. Тоді - це ( разів) дисперсія вибірки, а її реципрок. Отже, чим вище дисперсія = мінливість у регресорі, тим менша дисперсія оцінювача коефіцієнтів: чим більше мінливості у нас в пояснювальній змінній, тим точніше ми можемо оцінити невідомий коефіцієнт. $X'X$ $n$ $(X'X)^{-1}$

Чому? Тому що чим регрессор більше варіюється, тим більше інформації він містить. Коли регресорів багато, це узагальнюється до оберненої їх дисперсійно-коваріаційної матриці, яка також враховує ко-мінливість регресорів. У крайньому випадку, коли - діагональна, точність кожного розрахункового коефіцієнта залежить лише від дисперсії / змінності асоційованого регресора (враховуючи дисперсію терміна помилки). $X'X$

— Алекос Пападопулос
джерело

Чи можете ви пов’язати цей аргумент з тим, що обернення дисперсійно-коваріантної матриці дає часткову кореляцію ?

— Гейзенберг

5

Простий спосіб перегляду є матричним (багатофакторним) аналогом , що є дисперсією коефіцієнта нахилу в простому регресії OLS. Можна навіть отримати за цю дисперсію, опустивши перехоплення в моделі, тобто виконавши регресію через початок. $\sigma^2 \left(\mathbf{X}^{T} \mathbf{X} \right)^{-1}$ $\frac{\sigma^2}{\sum_{i=1}^n \left(X_i-\bar{X}\right)^2}$ $\frac{\sigma^2}{\sum_{i=1}^n X_i^2}$

З будь-якої з цих формул видно, що більша мінливість змінної предиктора в цілому призведе до більш точної оцінки її коефіцієнта. Ця ідея часто використовується при розробці експериментів, де, вибираючи значення для (невипадкових) прогнокторів, намагається зробити визначник якомога більше, визначальним є міра мінливості. $\left(\mathbf{X}^{T} \mathbf{X} \right)$

— ДжонК
джерело

2

Чи допомагає лінійне перетворення Гауссової випадкової величини? Використовуючи правило, що якщо , то . $x \sim \mathcal{N}(\mu,\Sigma)$ $Ax + b ~ \sim \mathcal{N}(A\mu + b,A^T\Sigma A)$

Якщо припустити, що є базовою моделлю і . $Y = X\beta + \epsilon$ $\epsilon \sim \mathcal{N}(0, \sigma^2)$

∴ Y \sim N (X β, σ^{2}) X^{T} Y \sim N (X^{T} X β, X σ^{2} X^{T}) (X^{T} X)^{- 1} X^{T} Y \sim N [β, (X^{T} X)^{- 1} σ^{2}]

$\therefore Y \sim \mathcal{N}(X\beta,\sigma^2)\\ X^TY \sim \mathcal{N}(X^TX\beta, X\sigma^2 X^T)\\ (X^TX)^{-1}X^TY \sim \mathcal{N}[\beta,(X^TX)^{-1} \sigma^2]$

Таким чином просто складна матриця масштабування , яка перетворює розподіл . $(X^TX)^{-1}X^T$ $Y$

Сподіваюся, що це було корисно.

— кедрпс
джерело

Ніщо при виведенні ОЦП і його дисперсії не вимагає нормальності термінів помилки. Все, що потрібно, це і . (Звичайно, потрібна нормальність , щоб показати, що OLS досягає нижньої межі Cramer-Rao, але це не те, про що йдеться в ОП, чи не так?)

E (ε) = 0

$E(\varepsilon)=0$

E (ε ε^{T}) = σ^{2} I_{n}

$E(\varepsilon\varepsilon^T)=\sigma^2 I_n$

— Mico

2

Я буду іншим підходом до розвитку інтуїції, яка лежить в основі формули . Розробляючи інтуїцію для моделі множинної регресії, корисно розглянути модель двовимірної лінійної регресії, а саме. , часто називають детермінованим внеском у , а називають стохастичним внеском. Виражена у вигляді відхилень від вибіркового засобу , ця модель також може бути записана як $\text{Var}\,\hat{\beta}=\sigma^2 (X'X)^{-1}$

y_{i} = α + β x_{i} + ε_{i}, i = 1, \dots, n .

$y_i=\alpha+\beta x_i + \varepsilon_i, \quad i=1,\ldots,n.$

α + β x_{i}

$\alpha+\beta x_i$

y_{i}

$y_i$

ε_{i}

$\varepsilon_i$

(\bar{x}, \bar{y})

$(\bar{x},\bar{y})$

(y_{i} - \bar{y}) = β (x_{i} - \bar{x}) + (ε_{i} - \bar{ε}), i = 1, \dots, n .

$(y_i-\bar{y}) = \beta(x_i-\bar{x})+(\varepsilon_i-\bar{\varepsilon}), \quad i=1,\ldots,n.$

Щоб допомогти розвинути інтуїцію, будемо вважати, що найпростіші припущення Гаусса-Маркова задовольняються: нестахастичні, для всіх , і для всіх . Як ви вже добре знаєте, ці умови гарантують, що де - вибіркова дисперсія . Словом, ця формула передбачає три твердження: "Дисперсія обернено пропорційна розміру вибірки , вона прямо пропорційна дисперсії $x_i$ $\sum_{i=1}^n(x_i-\bar{x})^2>0$ $n$ $\varepsilon_i \sim \text{iid}(0,\sigma^2)$ $i=1,\ldots,n$

Var \hat{β} = \frac{1}{n} σ^{2} (Var x)^{- 1},

$\text{Var}\,\hat{\beta}=\tfrac{1}{n}\sigma^2(\text{Var}\,x)^{-1}\text{,}$

Var x

$\text{Var}\,x$

x

$x$

\hat{β}

$\hat{\beta}$

n

$n$

ε

$\varepsilon$ , і вона обернено пропорційна дисперсії . "

x

$x$

Чому слід подвоїти розмір зразка, ceteris paribus , змусити дисперсію розрізати навпіл? Цей результат тісно пов'язаний з н.о.р. припущення , прикладеного до : Оскільки окремі помилки передбачаються IID, кожне спостереження слід розглядати попереджуючий як в рівній мірі інформативно. І подвоєння кількості спостережень подвоює кількість інформації про параметри, що описують (припускається лінійний) зв’язок між і $\hat{\beta}$ $\varepsilon$ $x$ $y$ . Маючи вдвічі більше інформації скорочує невизначеність щодо параметрів навпіл. Точно так само слід розвинути інтуїцію, чому подвоєння також подвоює дисперсію . $\sigma^2$ $\hat{\beta}$

Звернемо, то, на ваш головне питання, яке про розвиток інтуїції для затвердження , що дисперсія є обернено пропорційною до дисперсії . Для формалізації понять розглянемо дві окремі двовимірні лінійні регресійні моделі, звані відтепер Модель та Модель . Будемо вважати, що обидві моделі задовольняють припущення про найпростішу форму теореми Гаусса-Маркова і що моделі мають однакові значення , , і . Згідно з цими припущеннями, це легко показати $\hat{\beta}$ $x$ $(1)$ $(2)$ $\alpha$ $\beta$ $n$ $\sigma^2$ $\text{E}\,\hat{\beta}{}^{(1)}=\text{E}\,\hat{\beta}{}^{(2)}=\beta$ ; на словах, обидва оцінювачі є неупередженими. Принципово важливо також припустити, що тоді як , . Не втрачаючи загальності, припустимо, що . Який оцінювач матиме меншу дисперсію? Інакше кажучи, чи чи в середньому ближче до ? З попереднього обговорення ми маємо $\bar{x}^{(1)}=\bar{x}^{(2)}=\bar{x}$ $\text{Var}\,x^{(1)}\ne \text{Var}\,x^{(2)}$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\hat{\beta}$ $\hat{\beta}{}^{(1)}$ $\hat{\beta}{}^{(2)}$ $\beta$ $\text{Var}\,\hat{\beta} {}^{(k)} =\tfrac{1}{n}\sigma^2/\text{Var}\,x{}^{(k)})$ для . Оскільки за припущенням, випливає, що . Яка ж інтуїція стоїть за цим результатом? $k=1,2$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\text{Var}\,\hat{\beta}{}^{(1)} <\text{Var}\,\hat{\beta}{}^{(2)}$

Оскільки за припущенням , в середньому кожен буде далі від ніж у середньому для . Позначимо очікувану середню абсолютну різницю між та через . Припущення, що означає, що . Біваріантна лінійна регресійна модель, виражена у відхиленнях від середніх , визначає, що для моделі і для моделі $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $x_i^{(1)}$ $\bar{x}$ $x_i^{(2)}$ $x_i$ $\bar{x}$ $d_x$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $d_x^{(1)} >d_x^{(2)}$ $d_y = \beta d_x^{(1)}$ $(1)$ $d_y = \beta d_x^{(2)}$ $(2)$ . Якщо , це означає , що детермінований компонент моделі , , має більший вплив на , ніж робить детермінований компонент моделі , . Нагадаємо, що обидві моделі передбачаються, що задовольняють припущення Гаусса-Маркова, що відхилення помилок однакові в обох моделях, і що . Оскільки модель надає більше інформації про внесок детермінованої складової ніж модель , то випливає, що точність $\beta\ne0$ $(1)$ $\beta d_x^{(1)}$ $d_y$ $(2)$ $\beta d_x^{(2)}$ $\beta^{(1)}=\beta^{(2)}=\beta$ $(1)$ $y$ $(2)$ з якою детермінований внесок можна оцінити більше для Моделі ніж для Моделі . Обернення більшої точності - менша дисперсія оцінки балів . $(1)$ $(2)$ $\beta$

Досить просто узагальнити інтуїцію, отриману при вивченні простої регресійної моделі, до загальної множинної лінійної регресійної моделі. Основне ускладнення полягає в тому, що замість порівняння скалярних дисперсій необхідно порівнювати "розмір" дисперсійно-коваріаційних матриць. Маючи хороші знання про визначники, сліди та власні значення реальних симетричних матриць, на цей момент дуже зручно :-)

— Міко
джерело

1

Скажімо, у нас є спостережень (або розмір вибірки) та параметрів. $n$ $p$

Матриця коваріації ім'я оцінюваних параметрів тощо є поданням точності оцінюваних параметрів. $\operatorname{Var}(\hat{\beta})$ $\hat{\beta}_1,\hat{\beta}_2$

Якщо в ідеальному світі дані можуть бути ідеально описані моделлю, то шум буде . Тепер діагональні записи відповідають тощо. Отримана формула дисперсії узгоджується з інтуїцією, що якщо шум буде нижчим, оцінки будуть більш точними. $\sigma^2= 0$ $\operatorname{Var}(\hat{\beta})$ $\operatorname{Var}(\hat{\beta_1}),\operatorname{Var}(\hat{\beta_2})$

Крім того, у міру збільшення кількості вимірювань дисперсія оцінюваних параметрів зменшиться. Отже, загальне абсолютне значення записів буде вище, оскільки кількість стовпців дорівнює а кількість рядків дорівнює , а кожен запис - це сума пар продуктів. Абсолютне значення записів зворотного буде нижчим. $X^TX$ $X^T$ $n$ $X$ $n$ $X^TX$ $n$ $(X^TX)^{-1}$

Отже, навіть якщо шуму багато, ми все одно можемо досягти хороших оцінок параметрів якщо збільшити розмір вибірки . $\hat{\beta_i}$ $n$

Я сподіваюся, що це допомагає.

Довідка: Розділ 7.3 про найменші квадрати: Косентіно, Карло та Деклан Бейтс. Контроль зворотного зв'язку в біології систем. Crc Press, 2011.

— Діллі Мінч
джерело

1

Це ґрунтується на відповіді @Alecos Papadopuolos.

Нагадаємо, що результат регресії найменших квадратів не залежить від одиниць вимірювання змінних. Припустимо, ваша X-змінна - це вимірювання довжини, подане в дюймах. Тоді зміна шкали X, скажімо, множення на 2,54, щоб змінити одиницю на сантиметри, істотно не впливає на речі. Якщо ви повторно встановите модель, новою оцінкою регресії буде стара оцінка, поділена на 2,54.

матриця дисперсія X, і , отже , відображає масштаб вимірювання X. Якщо змінити масштаб, ви повинні відобразити це в вашій оцінці , і це робиться шляхом множення на зворотній частині . $X'X$ $\beta$ $X'X$

— Hong Ooi
джерело