Чому нахил завжди рівно 1 при регресуванні помилок на залишках за допомогою OLS?

10

Я експериментував із взаємозв'язком між помилками та залишками, використовуючи прості імітації в Р. Одне, що я знайшов, - це те, що незалежно від розміру вибірки чи відхилення помилки я завжди отримую рівно $1$ для нахилу, коли підходить модель

e r r o r s \sim β_{0} + β_{1} \times r e s i d u a l с

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

Ось моделювання, яке я робив:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eі rдуже (але не ідеально) співвіднесені, навіть для невеликих зразків, але я не можу зрозуміти, чому це відбувається автоматично. Математичне чи геометричне пояснення було б вдячним.

regression least-squares residuals

— GoF_Logistic
джерело

5

У площині трикутника OXY з базою OX висоти сторін YO і XY - висота самого трикутника. Для того, ці абсолютні висоти задаються коефіцієнтами lm(y~r), lm(e~r)і lm(r~r), які , отже , повинні бути всі рівні. Останнє, очевидно, дорівнює

. Спробуйте всі три ці команди, щоб побачити. Щоб зробити останню роботу у вас, ви повинні створити копію , наприклад . Докладніше про геометричні діаграми регресії див. Stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

Дякую @whuber. Чи хотіли б ви відповісти, ніж відповідь, щоб я міг її прийняти чи, можливо, позначити це як дублікат?

— GoF_Logistic

1

Я не думаю, що це дублікат, тому я розширив коментар у відповідь.

— whuber

11

Відповідь Уубера чудова! (+1) Я вирішив проблему, використовуючи найбільш знайомі мені позначення і зрозумів, що (менш цікаве, більш рутинне) виведення, можливо, варто включити сюди.

Нехай - модель регресії, для і шум. Тоді регресія проти стовпців має нормальні рівняння що дають оцінки $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {(X^{T} X)}^{- 1} X^{T} y .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$ Тому регресії має невязки

для

.

r = y - X \hat{β} = (I - H) y = (I - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Регресування на призводить до розрахункового нахилу, заданого $\epsilon$ $r$ оскількиє симетричним і ідентичним, амайже точно.

\begin{aligned} (r^{T} r)^{- 1} r^{T} ϵ & = {({[(I - H) ϵ]}^{T} [(I - H) ϵ])}^{- 1} {[(I - H) ϵ]}^{T} ϵ \\ = \frac{ϵ^{Т} {(Я - Н)}^{Т} ϵ}{ϵ^{Т} {(Я - Н)}^{Т} (Я - Н) ϵ} \\ = \frac{ϵ^{Т} (Я - Н) ϵ}{ϵ^{Т} (Я - Н) ϵ} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

Далі, цей аргумент також справедливий, якщо ми включаємо перехоплення, коли ми виконуємо регресію помилок на залишках, якщо перехоплення було включено в початкову регресію, оскільки коваріати є ортогональними (тобто , від звичайних рівнянь) . $1^T r = 0$

— користувач795305
джерело

+1 Завжди приємно бачити рішення, розроблене уважно і чітко.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— дзижчати
джерело