Чому залишки в лінійній регресії завжди дорівнюють нулю, коли включається перехоплення?

14

Я беру курс на регресійні моделі і однією з властивостей, передбачених для лінійної регресії, є те, що залишки завжди дорівнюють нулю, коли включається перехоплення.

Чи може хтось дати гарне пояснення, чому це так?

regression residuals

— dts86
джерело

3

Ви можете спочатку замислитися над тісно пов’язаним, але простішим питанням, чому в одновимірному вибірці залишки, які ви отримуєте, віднімаючи середнє значення вибірки, від кожного значення також дорівнюють 0. (Спробуйте дотримуватися алгебри через, якщо можете.)

— Glen_b - Відновіть Моніку

3

Як тільки ви визнаєте, що "сума до нуля" означає "ортогональну одній із пояснювальних змінних", відповідь стає геометрично очевидною.

— whuber

18

Це випливає безпосередньо із звичайних рівнянь, тобто рівнянь, які розв'язує Оцінювач OLS,

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

Вектор всередині дужок - це, звичайно, залишковий вектор або проекція на ортогональне доповнення простору стовпців , якщо вам подобається лінійна алгебра. Тепер, включаючи вектор матриці , який, до речі, не повинен бути в першому стовпчику, як це робиться умовно, веде до $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

У задачі з двома змінними це ще простіше зрозуміти, оскільки мінімізація суми залишків у квадраті приводить нас до

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

коли ми беремо похідну щодо перехоплення. Тоді ми переходимо до отримання знайомого оцінювача

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

де ми знову бачимо, що побудова наших оцінок нав'язує цю умову.

— ДжонК
джерело

17

У випадку, якщо ви шукаєте досить інтуїтивне пояснення.

У певному сенсі модель лінійної регресії - це не що інше, як хитре середнє. Щоб знайти середнє арифметичне над деякими значеннями , ми знайдемо значення, яке є мірою центральності в сенсі, що сума всіх відхилень (де кожне відхилення визначається як ) праворуч від середнього значення дорівнює сумі всіх відхилень зліва від цього середнього. Немає властивої причини, чому цей захід є хорошим, не кажучи вже про найкращий спосіб описати середнє значення вибірки, але це, звичайно, інтуїтивно зрозуміло та практично. Важливим моментом є те, що визначаючи середнє арифметичне таким чином, обов'язково випливає, що як тільки ми побудували середнє арифметичне, всі відхилення від цієї середньої величини повинні за визначенням дорівнювати нулю! $\bar{x}$ $x_1, x_2, \dots, x_n$ $u_i = x_i - \bar{x}$

При лінійній регресії це не відрізняється. Ми підходите лінії таким чином, щоб сума всіх відмінностей між нашими підібраними значеннями (які знаходяться на лінії регресії) і фактичних значень, які вище лінії в точності дорівнює сумі всіх відмінностей між лінією регресії і все значення нижче рядок. Знову ж таки, немає властивої причини, чому це найкращий спосіб побудувати пристосування, але це прямо та інтуїтивно привабливо. Так само, як і середнє арифметичне: будуючи таким чином встановлені нами значення, обов'язково випливає, будуючи, що всі відхилення від цього рядка повинні дорівнювати нулю, інакше це просто не буде регресією OLS.

— Мануель Р
джерело

2

+1 за пряму, просту та інтуїтивну відповідь!

Чудове пояснення, але я не впевнений: "Знову ж таки, немає властивої причини, чому це найкращий спосіб побудувати пристосування, але це прямо та інтуїтивно привабливо". є точним. Добре відома теорема Гаусса-Маркова про те, що ОЦП-ОЦІНЧИТИ БЛАГО: найкращі (мінімальна дисперсія) лінійних неупереджених оцінок (якщо припущення виконані). Часто наші інтуїтивні «почуття» щодо того, що є привабливим / розумним, також підкріплюються математично, як це відбувається у нас.

— Мег

3

Коли перехоплення включено до декількох лінійних регресій, У регресії найменших квадратів, сума квадратів помилок зведена до мінімуму. Візьміть часткове похідна SSE щодо та встановлення її в нуль.

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ Отже, залишки завжди дорівнюють нулю, коли перехоплення включається в лінійну регресію.

— DavidCruise
джерело

1

Ключове зауваження полягає в тому, що оскільки модель має перехоплення, , який є першим стовпцем матриці , може бути записаний як де вектор стовпців з усіма нулями, але перший компонент. Також зауважте, що в матричних позначеннях сума залишків становить лише . $1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

Тому

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— Чжансіонг
джерело

0

Просте виведення з використанням матричної алгебри:

$\sum e$ можна записати як $1^Te$

Потім

$1^Te = 1^T(M_x y)$ де - ортогональна матриця. Оскільки симетричний, ми можемо переставити так, щоб $M_x$ $M_x$ $(M_x1)^Ty$

що дорівнює нулю, якщо та є ортогональними, то є випадок, якщо матриця регресорів містить перехоплення ( дійсно вектор ). $M_x$ $1$ $x$ $1$

— Міно
джерело

Я не думаю, що це правильно.

— Майкл Р. Черник

Якщо ви поясните, чому тоді я буду радий дізнатися щось

— Міно

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ так $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Хунафу
джерело