Як отримати оцінку найменшого квадрата для множинної лінійної регресії?

У простому випадку лінійної регресії можна отримати оцінку найменшого квадрата таким чином, що вам не потрібно знати щоб оцінювати$y=\beta_0+\beta_1x$$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

Припустимо , що у мене $y=\beta_1x_1+\beta_2x_2$ , як я вивести β 1 без оцінки β 2 ? чи це неможливо?$\hat\beta_1$$\hat\beta_2$

Виведення в матричному позначенні

Починаючи з $y= Xb +\epsilon$ , що насправді так само, як

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

все зводиться до мінімізації :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Таким чином, мінімізація дає нам:$e'e'$

e ′ e = ( y - X b ) ′ ( y - X b $min_{b}$ $e'e = (y-Xb)'(y-Xb)$

e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Остання остання математична річ, умова другого порядку для мінімуму вимагає, щоб матриця була позитивно визначеною. Ця вимога виконується у випадку, якщо X має повний ранг.$X'X$$X$

Більш точне виведення, яке проходить усі кроки в більшій кількості, можна знайти в розділі http://economictheoryblog.com/2015/02/19/ols_estimator/

Можна оцінити лише один коефіцієнт у множинній регресії без оцінки інших.

Оцінка отримується шляхом видалення ефектів x 2 з інших змінних, а потім регресування залишків y відносно залишків x 1 . Це пояснено та проілюстровано. Як саме один елемент керує іншими змінними? і Як нормалізувати (а) коефіцієнт регресії? . Краса такого підходу полягає в тому, що він не вимагає обчислення, не має лінійної алгебри, не може бути візуалізований за допомогою просто двовимірної геометрії, чисельно стійкий і використовує лише одне фундаментальне уявлення про множину регресії: виведення (або "контроль за") ) наслідки однієї змінної.$\beta_1$$x_2$$y$$x_1$

---

У цьому випадку множинна регресія може бути здійснена за допомогою трьох звичайних етапів регресії:

1. Регресуйте на x 2 (без постійного члена!). Нехай відповідність y = α y , 2 x 2 + δ . Оцінка дорівнює α y , 2 = ∑ i y i x 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$ Тому залишкиδ=y-αy,2x2. Геометричноδ- те, що залишилося відyпісля його проекції наx2віднімається.

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. Регресуйте на x 2 (без постійного члена). Нехай відповідність буде x 1 = α 1 , 2 x 2 + γ . Оцінка дорівнює α 1 , 2 = ∑ i x 1 i x 2 $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$Залишкиγ=x1-α1,2x2. Геометричноγ- те, що залишилося відx1післявідніманняйого проекції наx2.

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. Регресуємо на γ (без постійного члена). Оцінка β 1 = Σ я δ я γ $\delta$$\gamma$Форма будеδ= β 1γ+ε. Геометричний, & beta ; 1являє собою компонентб(який представляєусї2вивезено) вгамманапрямку (це може бутий1зї2виймає).

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

Зауважте, що не був оцінений. $\beta_2$ Він легко може бути витягнутий з того , що було отримано до сих пір (так само , як β 0 в звичайному випадку регресивного легко виходить з оцінки нахилу β 1 ). В ε є залишки для двовимірної регресії у по х 1 і х 2 .$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

Паралель зі звичайною регресією сильна: етапи (1) і (2) є аналогами віднімання засобів у звичайній формулі. Якщо ви дозволите, що є вектором одиниць, ви фактично відновите звичайну формулу.$x_2$

Це узагальнюється очевидним чином до регресії з більш ніж двома змінними: для оцінки β 1 , регресу у і х 1 окремо від усіх інших змінних, то регрес їх залишки один проти одного. На той момент жоден з інших коефіцієнтів у множинній регресії у досі не був оцінений.$\hat\beta_1$$y$$x_1$$y$

$\beta$$\beta$$Y_i$$X_{ki}$

$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

$(\mathbf{X}^\prime \mathbf{X})^{-1}$

One small minor note on theory vs. practice. Mathematically $\beta_0, \beta_1, \beta_2 ... \beta_n$ can be estimated with the following formula:

$$\hat{\beta} = (X'X)^{-1} X'Y$$

where $X$ is the original input data and $Y$ is the variable that we want to estimate. This follows from minimizing the error. I will proove this before making a small practical point.

Let $e_i$ be the error the linear regression makes at point $i$. Then:

$$e_i = y_i - \hat{y_i}$$

The total squared error we make is now:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Because we have a linear model we know that:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Which can be rewritten in matrix notation as:

$$\hat{Y} = X\beta$$

We know that

$$\sum_{i=1}^n e_i^2 = E'E$$

We want to minimize the total square error, such that the following expression should be as small as possible

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

This is equal to:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

The rewriting might seem confusing but it follows from linear algebra. Notice that the matrices behave similar to variables when we are multiplying them in some regards.

We want to find the values of $\beta$ such that this expression is as small as possible. We will need to differentiate and set the derivative equal to zero. We use the chain rule here.

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

This gives:

$$X'X\beta = X'Y$$

Such that finally:

$$\beta = (X'X)^{-1} X'Y$$

So mathematically we seem to have found a solution. There is one problem though, and that is that $(X'X)^{-1}$ is very hard to calculate if the matrix $X$ is very very large. This might give numerical accuracy issues. Another way to find the optimal values for $\beta$ in this situation is to use a gradient descent type of method. The function that we want to optimize is unbounded and convex so we would also use a gradient method in practice if need be.

Просте виведення можна здійснити просто за допомогою геометричної інтерпретації LR.

Лінійну регресію можна інтерпретувати як проекцію $Y$ на простір стовпця $X$. Таким чином, помилка,$\hat{\epsilon}$ є ортогональним для простору стовпців $X$.

Тому внутрішній продукт між $X'$ і похибка повинна бути 0, тобто

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Що означає, що

$(X'X)^{-1}X'y = \hat{\beta}$.

Тепер те ж саме можна зробити:

(1) Проектування $Y$ на $X_2$ (помилка $\delta = Y-X_2 \hat{D}$), $\hat{D} = (X_2'X_2)^{-1}X_2'y$,

(2) Проектування $X_1$ на $X_2$ (помилка $\gamma = X_1 - X_2 \hat{G}$), $\hat{G} = (X_1'X_1)^{-1}X_1X_2$,

і, нарешті,

(3) Проектування $\delta$ на $\gamma$, $\hat{\beta}_1$