У простій лінійній регресії звідки береться формула дисперсії залишків?

Відповідно до тексту, який я використовую, формула дисперсії залишку задається: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

Я знаходжу це важко повірити , так як залишкова різниця між спостережуваним значенням і підігнаній значення; якби було обчислити дисперсію різниці, я, принаймні, очікував би певних «плюсів» у отриманому виразі. Будь-яка допомога в розумінні походження буде вдячна. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Ерік
джерело

Чи можливо, що деякі " " знаки в тексті неправильно відображаються (або неправильно читаються) як " " знаки?

+

$+$

-

$-$

— whuber

Я думав про це, але це траплялося двічі в тексті (2 різні глави), тому я вважав, що це малоймовірно. Звичайно, виведення формули допоможе! :)

— Ерік

Негативи є результатом позитивної кореляції між спостереженням та його придатною величиною, що зменшує дисперсію різниці.

— Glen_b -Встановіть Моніку

@Glen Спасибі за пояснення, чому виявляється, що формула має сенс разом із вашим матричним виведенням нижче.

— Ерік

Інтуїція щодо знаків "плюс", пов'язана з дисперсією (від того, що навіть коли ми обчислюємо дисперсію різниці незалежних випадкових величин, додаємо їх відхилення), є правильною, але фатально неповною: якщо випадкові змінні, що задіяні, не є незалежними , тоді також беруть участь коваріанці - і коваріанці можуть бути негативними. Існує вираз, який майже нагадує вираз у питанні, вважалося, що це "повинно" бути ОП (і я), і це відмінність помилки передбачення , позначте його , де : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Критична різниця між дисперсією помилки передбачення і дисперсією оцінки похибки (тобто нев'язки), є те , що цей термін помилки передбаченого спостереження не корелює з оцінкою , так як значення були НЕ використовуються в побудова оцінювача та обчислення оцінок, що є вибірковим значенням. $y^0$

Алгебра для обох протікає точно однаково до точки (використовуючи замість ), але потім розходиться. Конкретно: $^0$ $_i$

У простій лінійній регресії , , дисперсія оцінювача все ще $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Ми маємо

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

і так

{(Х^{'} Х)}^{- 1} = [\begin{matrix} \sum х_{i}^{2} & - \sum х_{i} \\ - \sum х_{i} & н \end{matrix}] \cdot {[н \sum х_{i}^{2} - {(\sum х_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Ми маємо

[н \sum х_{i}^{2} - {(\sum х_{i})}^{2}] = [н \sum х_{i}^{2} - н^{2} {\bar{х}}^{2}] = н [\sum х_{i}^{2} - н {\bar{х}}^{2}] = н \sum (х_{i}^{2} - {\bar{х}}^{2}) \equiv н S_{х х}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Так

{(Х^{'} Х)}^{- 1} = [\begin{matrix} (1 / н) \sum х_{i}^{2} & - \bar{х} \\ - \bar{х} & 1 \end{matrix}] \cdot (1 / S_{х х})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

що означає, що

Вар ({\hat{β}}_{0}) = σ^{2} (\frac{1}{н} \sum х_{i}^{2}) \cdot (1 / S_{х х}) = \frac{σ^{2}}{н} \frac{S_{х х} + н {\bar{х}}^{2}}{S_{х х}} = σ^{2} (\frac{1}{н} + \frac{{\bar{х}}^{2}}{S_{х х}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Вар ({\hat{β}}_{1}) = σ^{2} (1 / S_{х х})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Ков ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{х} / S_{х х})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

-й залишковий визначаються як $i$

{\hat{у}}_{i} = у_{i} - {\hat{у}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) х_{i} + у_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Фактичні коефіцієнти розглядаються як константи, то регресорів фіксуються (або залежність від нього), і мають нульову ковариацию з помилкою, але ці оцінювачі корелюють з помилкою, тому що оцінювачі містять залежні змінні, і залежні змінні містить термін помилки. Так ми маємо

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Спакуйте його трохи, щоб отримати

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Термін у великих дужках має абсолютно таку ж структуру з дисперсією помилки передбачення, єдиною зміною є те, що замість нас буде (і дисперсія буде такою, що а не ). Останній член коваріації дорівнює нулю для помилки прогнозування, оскільки і, отже, , не входить до оцінок, але не дорівнює нулю для помилки оцінки, оскільки і, отже, є частиною вибірки, і тому вона включається оцінювач. Ми маємо $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

остання заміна з розрахунку . Продовжуючи, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Вставивши це у вираз для дисперсії залишку, отримаємо

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Тож капелюхи до тексту, який використовує ОП.

(Я пропустив деякі алгебраїчні маніпуляції, недарма в алгебрі OLS в ці дні все менше навчають ...)

ДЕЯКА ВІДУМКА

Отже, виявляється, що те, що працює "проти" нас (більша дисперсія) при прогнозуванні, працює "для нас" (нижча дисперсія) при оцінці. Це хороша відправна точка для того, щоб замислитися, чому відмінна відповідність може бути поганим знаком для можливостей прогнозування моделі (як би це не звучало контрінтуїтивно ...).
Той факт, що ми оцінюємо очікуване значення регресора, зменшує дисперсію на . Чому? тому що, оцінюючи , ми «закриваємо очі» на деяку мінливість помилок, що існує у вибірці, оскільки ми по суті оцінюємо очікуване значення. Більше того, чим більше середнє відхилення спостереження регресора від зразка регресора, $1/n$ дисперсія залишку, пов'язаного з цим спостереженням, буде ... чим девіантніше спостереження, тим менше відхиляється його залишковий ... Це мінливість регресорів, яка працює на нас, "займаючи місце" невідомої помилки- мінливість.

Але це добре для оцінки . Для прогнозування проти нас обертаються ті ж самі речі: тепер, не враховуючи, як би недосконало, мінливості (оскільки ми хочемо це передбачити), наші недосконалі оцінки, отримані з вибірки, показують свої слабкі сторони: ми оцінювали оцінку середня вибірка, ми не знаємо справжнього очікуваного значення - дисперсія збільшується. У нас є що знаходиться далеко від середнього зразка, обчисленого з інших спостережень - дуже погано, наша дисперсія помилки прогнозування отримує ще один приріст, оскільки передбачуване буде схилятися ... більше Наукова мова "Оптимальні предиктори в сенсі зменшення дисперсії помилок прогнозування", $y^0$ $x^0$ $\hat y^0$ скорочення до середнього значення змінної під прогнозуванням ". Ми не намагаємось тиражувати змінну залежної змінної - ми просто намагаємось залишатися" близьким до середнього ".

— Алекос Пападопулос
джерело

Дякую за дуже чітку відповідь! Я радий, що моя «інтуїція» була правильною.

— Ерік

Алекос, я дійсно не думаю, що це правильно.

— Glen_b -Встановити Моніку

@Alecos помилка полягає у прийнятті оцінок параметрів, які не співвідносяться з терміном помилки. Ця частина: неправильно.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b -Встановіть Моніку

@Eric Вибачаюсь за те, що ввели вас в оману раніше. Я намагався надати певну інтуїцію для обох формул.

— Алекос Пападопулос

+1 Ви можете зрозуміти, чому я зробив для цього випадки множинної регресії ... дякую за те, що ви доклали додаткових зусиль, щоб виконати випадок простої регресії.

— Glen_b -Встановіть Моніку

Вибачте за дещо лаконічну відповідь, можливо, занадто абстрактну та мені не вистачає бажаної інтуїтивної експозиції, але я спробую повернутися та додати ще кілька деталей пізніше. Принаймні, це коротко.

Дано , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Вар (у - \hat{у}) & = & Вар ((Я - Н) у) \\ = & (Я - Н) Вар (у) (Я - Н)^{Т} \\ = & σ^{2} (Я - Н)^{2} \\ = & σ^{2} (Я - Н) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Звідси

Вар (у_{i} - {\hat{у}}_{i}) = σ^{2} (1 - {год}_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

У випадку простої лінійної регресії ... це дає відповідь на ваше запитання.

Ця відповідь також має сенс: оскільки позитивно корелює з , дисперсія різниці повинна бути меншою, ніж сума дисперсій. $\hat{y}_i$ $y_i$

Редагувати: Пояснення, чому є ідентичним . $(I-H)$

(i) ідентичний: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Встановити Моніку
джерело

Це дуже приємне виведення для його простоти, хоча один крок, який мені не зрозумілий, це чому . Можливо, коли ви трохи розгорнете свою відповідь, як це все одно плануєте зробити, ви могли б дещо сказати про це?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Джейк Вестфалл

@Jake Додав кілька рядків наприкінці

— Glen_b -Встановити Моніку