Альтернативний спосіб отримання коефіцієнтів OLS

В іншому моєму питанні відповідач застосував таке виведення коефіцієнта OLS:

У нас є модель: де не помічено. Тоді ми маємо: де і .
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Це виглядає інакше від звичайного що я бачив у економетрії. Чи є більш чітке виклад цього виведення? Чи є назва матриці ? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— Гейзенберг
джерело

Я впевнений, що це описано в лекційних записках Хансена, але я зараз не маю їх у своїх руках.

— FooBar

матриця є "аннуляторний" або матриця "залишковий виробник" пов'язаний з матрицею . Його називають "знищувачем", тому що ( звичайно, для власної матриці ). Називається "залишковим виробником", тому що , в регресії . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

Це симетрична і безсильна матриця. Він використовується в доведенні теореми Гаусса-Маркова.

Крім того, він використовується в теоремі Фріша-Во-Ловелла , з якої можна отримати результати для "розділеної регресії", що говорить про те, що в моделі (у матричній формі)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

ми це маємо

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Оскільки є ідентичним, ми можемо переписати вищезазначене $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

і оскільки також симетричний, ми маємо $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Але це оцінка найменших квадратів від моделі

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

а також - залишки від регресування на матриці . $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

Іншими словами: 1) Якщо ми регресуємо на матриці , а потім регресуємо залишки з цієї оцінки лише на матриці , отримані оцінки будуть математично рівних оцінок, які ми отримаємо, якщо регресувати як і разом, як звичайна множинна регресія. $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

Тепер припустимо, що - це не матриця, а лише один регресор, скажімо, . Тоді є залишками від регресування змінної на матриці регресора . І це забезпечує тут інтуїцію: дає нам ефект, що "частина що не пояснюється ", має "ту частину яку залишити незрозумілою ". $\mathbf X_1$ $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

Це емблематична частина класичної найменших алгебр.

— Алекос Пападопулос
джерело

Почав відповідати, але я сильно збігався з цією відповіддю. Багато цієї інформації ви можете знайти в главі 3.2.4 7-го видання "Економетричного аналізу" Білла Гріна.

— cc7768

@ cc7768 Так, це хороше джерело для алгебри найменших квадратів. Але не соромтеся розміщувати додатковий матеріал. Наприклад, по суті моя відповідь охоплює лише друге питання ОП.

— Алекос Пападопулос

@AlecosPapadopoulos ви кажете, що якщо ми регресуємо на , ми також отримаємо . Але чи не говорить рівняння: on ?

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

— Гейзенберг

@Heisenberg Правильно. Друкарська помилка. Виправили його та додали ще трохи.

— Алекос Пападопулос