Лінійна регресія: * Чому * Ви можете розділити суми квадратів?

Ця публікація стосується двовимірної лінійної регресійної моделі, . Я завжди брав розподіл загальної суми квадратів (SSTO) на суму квадратів для помилки (SSE) та суму квадратів для моделі (SSR) на вірі, але як тільки я почав реально думати про це, я не розумію чому це працює ...$Y_i = \beta_0 + \beta_1x_i$

Частина I дійсно розуміють:

$y_i$ : спостережуване значення y

$\bar{y}$ : середнє значення всіх спостережуваних s$y_i$

$\hat{y}_i$ : Встановлене / передбачуване значення y для даного спостереження x

$y_i - \hat{y}_i$ : Залишок / помилка (якщо у всіх квадратиках додано квадрат та додано, це SSE)

$\hat{y}_i - \bar{y}$ : наскільки розміщене значення моделі відрізняється від середнього значення (якщо в квадраті та додано для всіх спостережень це SSR)

$y_i - \bar{y}$ : наскільки спостережуване значення відрізняється від середнього значення (якщо його застосовувати та додавати за всіма спостереженнями, це SSTO).

Я можу зрозуміти, чому для одного спостереження, нічого не розбиваючи, . І я можу зрозуміти, чому, якщо ви хочете додати речі над усіма спостереженнями, ви повинні їх скласти на квадрат або вони додадуть до 0.$(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

Частина, яку я не розумію, це чому (наприклад, SSTO = SSR + SSE). Здається, якщо у вас є ситуація, коли , то , а не . Чому тут не так?$(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

Здається, якщо у вас є ситуація, коли , то , а не . Чому тут не так?$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

Концептуально ідея полягає в тому, що оскільки і є ортогональними (тобто перпендикулярними).$BC = 0$$B$$C$

---

У контексті лінійної регресії тут залишки є ортогональними для зруйнованого прогнозу . Прогноз від лінійної регресії створює ортогональне розкладання у подібному сенсі, як - ортогональне розкладання.$\epsilon_i = y_i - \hat{y}_i$$\hat{y}_i - \bar{y}$$\mathbf{y}$$(3,4) = (3,0) + (0,4)$

Версія лінійної алгебри:

Дозволяє:

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

Лінійна регресія (з постійною включеною) розкладає на суму двох векторів: прогноз і залишковий$\mathbf{z}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

Нехай позначає крапковий продукт . (Більш загально, може бути внутрішнім продуктом .)$\langle .,. \rangle$$\langle X,Y \rangle$ $E[XY]$

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

Звідки останній рядок випливає з того, що (тобто, що та є ортогональними). Ви можете довести, що і є ортогональними на основі побудови регресії звичайних найменших квадратів .$\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ є лінійної проекцією з на підпростір , певне лінійною оболонкою з регресорів , , і т.д .... залишковий є ортогональним для всього цього підпростору, отже, (що лежить в діапазоні , тощо) є ортогональний до .$\mathbf{z}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$

---

Зауважте, що як я визначив як крапковий продукт, - це просто інший спосіб написання (тобто SSTO = SSR + SSE)$\langle .,.\rangle$$\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$$\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

Вся суть полягає в тому, що певні вектори є ортогональними, а потім використовують теорему Піфагора.

Розглянемо багатоваріантну лінійну регресію . Ми знаємо, що оцінювачем OLS є . Тепер розглянемо кошторис$Y = X\beta + \epsilon$$\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (матрицю H називають також матрицею "hat")

де - ортогональна матриця проекції Y на . Зараз у нас є$H$$S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

де - матриця проекції на ортогональний доповнення який є . Таким чином, ми знаємо, що і є ортогональними.$(I-H)$$S(X)$$S^{\bot}(X)$$Y-\hat{Y}$$\hat{Y}$

Тепер розглянемо підмодель$Y = X_0\beta_0 + \epsilon$

де і аналогічно маємо оцінку та оцінку OLS та з матрицею проекції на . маємо, що і є ортогональними. І зараз$X = [X_0 | X_1 ]$$\hat{\beta_0}$$\hat{Y_0}$$H_0$$S(X_0)$$Y - \hat{Y_0}$$\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

де знову - ортогональна матриця проекцій на комплементі який є . Таким чином, ми маємо ортогональність і . Отже, врешті-решт маємо$(I-H_0)$$S(X_0)$$S^{\bot}(X_0)$$\hat{Y} - \hat{Y_0}$$\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

і нарешті$||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Нарешті, середнє значення є просто при розгляді нульової моделі .$\bar{Y}$$\hat{Y_0}$$Y = \beta_0 + e$