Чому ? (Одна змінна лінійна регресія)

14

Примітка: $SST$ = сума квадратів Всього, = сума помилок у квадраті , і = сума регресії квадратів. Рівняння в заголовку часто записується як: $SSE$ $SSR$

\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} = \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}

$\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2$

Досить просте запитання, але я шукаю інтуїтивне пояснення. Інтуїтивно мені здається, що мав би більше сенсу. Наприклад, припустімо, що точка має відповідне значення і , де - відповідна точка на лінії регресії. Припустимо також, що середнє значення y для набору даних становить . Тоді для цієї конкретної точки i , тоді як і . Очевидно, що . Чи не був би цей результат узагальненим для всього набору даних? Я не розумію. $SST\geq SSE+SSR$ $x_i$ $y_i=5$ $\hat y_i=3$ $\hat y_i$ $\bar y=0$ $SST=(5-0)^2=5^2=25$ $SSE=(5-3)^2=2^2=4$ $SSR=(3-0)^2=3^2=9$ $9+4<25$

regression least-squares r-squared

— Cam
джерело

1

Дуже відповідні теми також мають хороші відповіді: stats.stackexchange.com/questions/1447 , stats.stackexchange.com/questions/118 , stats.stackexchange.com/questions/123651 , stats.stackexchange.com/questions/204930 та stats.stackexchange.com/questions/127598 .

— whuber

15

Додавання і віднімання дає Отже, нам потрібно показати, що . Напишіть Отже, (a) залишки повинні бути ортогональними до встановлених значень, , і (b) сума встановлених значень повинна бути дорівнює сумі залежної змінної,

\begin{array}{rcl} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} & = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i} + {\hat{y}}_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) + \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2} \end{array}

$\begin{eqnarray*} \sum_{i=1}^n (y_i-\bar y)^2&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\ &=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2 \end{eqnarray*}$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) = 0

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=0$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) = \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) {\hat{y}}_{i} - \bar{y} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=\sum_{i=1}^n(y_i-\hat y_i)\hat y_i-\bar y\sum_{i=1}^n(y_i-\hat y_i)$

e_{i} = y_{i} - {\hat{y}}_{i}

$e_i=y_i-\hat y_i$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) {\hat{y}}_{i} = 0

$\sum_{i=1}^n(y_i-\hat y_i)\hat y_i=0$

\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} {\hat{y}}_{i}

$\sum_{i=1}^ny_i=\sum_{i=1}^n\hat y_i$ .

Власне, я думаю, що (а) простіше показати в матричній нотації для загальної множинної регресії, окремий випадок якої є окремим випадком: Що стосується (b), похідна від критерію OLS функціонує відносно постійної (значить, вам потрібне одне в регресії, щоб це було правдою!), також нормальним рівнянням, є який можна переставити на Права частина цього рівняння, очевидно, також є , як

\begin{array}{rcl} e^{'} X \hat{β} & = & (y - X \hat{β})^{'} X \hat{β} \\ = & (y - X (X^{'} X)^{- 1} X^{'} y)^{'} X \hat{β} \\ = & y^{'} (X - X (X^{'} X)^{- 1} X^{'} X) \hat{β} \\ = & y^{'} (X - X) \hat{β} = 0 \end{array}

$\begin{eqnarray*} e'X\hat\beta &=&(y-X\hat\beta)'X\hat\beta\\ &=&(y-X(X'X)^{-1}X'y)'X\hat\beta\\ &=&y'(X-X(X'X)^{-1}X'X)\hat\beta\\ &=&y'(X-X)\hat\beta=0 \end{eqnarray*}$

\frac{\partial S S R}{\partial \hat{α}} = - 2 \sum_{i} (y_{i} - \hat{α} - \hat{β} x_{i}) = 0,

$\frac{\partial SSR}{\partial\hat\alpha}=-2\sum_i(y_i-\hat\alpha-\hat\beta x_i)=0,$

\sum_{i} y_{i} = n \hat{α} + \hat{β} \sum_{i} x_{i}

$\sum_i y_i=n\hat\alpha+\hat\beta\sum_ix_i$

\sum_{i = 1}^{n} {\hat{y}}_{i}

$\sum_{i=1}^n\hat y_i$

{\hat{y}}_{i} = \hat{α} + \hat{β} x_{i}

$\hat y_i=\hat\alpha+\hat\beta x_i$ .

— Крістоф Ганк
джерело

3

(1) Інтуїція, чому $SST = SSR + SSE$

Коли ми намагаємось пояснити загальну варіацію Y ( ) однією пояснювальною змінною X, то є рівно два джерела мінливості. По-перше, є мінливість, захоплена X (Sum Square Regression), а по-друге, є мінливість, не захоплена X (помилка квадратних помилок). Отже, (точна рівність). $SST$ $SST = SSR + SSE$

(2) Геометрична інтуїція

Перші фотографії див. Тут (особливо третій): https://sites.google.com/site/modernprogramevaluation/variance-and-bias

Частина загальної зміни даних (відстань від точки даних до ) фіксується лінією регресії (відстань від лінії регресії до ) та помилкою (відстань від точки до лінії регресії) ). Не залишається місця, щоб був більшим, ніж . $\bar{Y}$ $\bar{Y}$ $SST$ $SSE + SSR$

(3) Проблема з вашою ілюстрацією

Ви не можете дивитися на SSE і SSR точково. Для певної точки залишковий може бути великим, так що з X. виникає більше помилок, ніж пояснювальна потужність. Однак для інших точок залишковий буде малим, так що лінія регресії пояснює велику мінливість. Вони врівноважуються і в кінцевому рахунку . Звичайно, це не суворо, але ви можете знайти докази, як описано вище. $SST = SSR + SSE$

Також зауважте, що регресія не буде визначена для однієї точки: , і ви бачите, що знаменник буде нульовим, зробивши оцінку невизначеною. $b_1 = \frac{\sum(X_i -\bar{X})(Y_i-\bar{Y}) }{\sum (X_i -\bar{X})^2}$

Сподіваюсь, це допомагає.

- Райан М.

— RMurphy
джерело

1

Коли перехоплення включено в лінійну регресію (сума залишків дорівнює нулю), . $SST=SSE+SSR$

довести Просто потрібно довести, що остання частина дорівнює 0: У регресії найменших квадратів сума квадратів помилок зведена до мінімуму.

\begin{array}{rcl} S S T & = & \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i} + {\hat{y}}_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) + \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2} \\ = & S S E + S S R + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) \end{array}

$\begin{eqnarray*} SST&=&\sum_{i=1}^n (y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2\\&=&SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y) \end{eqnarray*}$

\begin{array}{rcl} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) & = & \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) (β_{0} + β_{1} x_{i} - \bar{y}) \\ = & (β_{0} - \bar{y}) \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) + β_{1} \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) x_{i} \end{array}

$\begin{eqnarray*} \sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)&=&\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)(\beta_0+\beta_1x_i-\bar y)\\&=&(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i \end{eqnarray*}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_i\right)^2$ Візьміть часткову похідну SSE щодо та встановіть її на нуль. Отже Візьміть часткову похідну SSE щодо та встановіть її на нуль. Отже Отже,

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i})}^{1} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0$

\sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{1} = 0

$\sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0$

β_{1}

$\beta_1$

\frac{\partial S S E}{\partial β_{1}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i})}^{1} x_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_1}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0$

\sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{1} x_{i} = 0

$\sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) = (β_{0} - \bar{y}) \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) + β_{1} \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) x_{i} = 0

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i=0$

S S T = S S E + S S R + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) = S S E + S S R

$SST=SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=SSE+SSR$

— DavidCruise
джерело

1

Це просто теорема Піфагора! enter image description here

— user0
джерело

stats.stackexchange.com/q/71620/171583 , stats.stackexchange.com/a/256532/171583 .

— ayorgo