Чому при додаванні пояснювальної змінної сума залишків у квадраті не збільшується?

9

У моєму економетричному підручнику (Вступна економетрика), що охоплює OLS, автор пише: "SSR повинен впасти, коли додається ще одна пояснювальна змінна". Чому це?

— Ерік Сю
джерело

1

По суті, тому що якщо немає будь-якої лінійної залежності з наступною змінною (0 часткової кореляції вибірки), SSR залишиться колишнім. Якщо взагалі є якісь відносини, наступна змінна може бути використана для зменшення SSR.

— Glen_b -Встановіть Моніку

3

Заява є коректною за духом, але не зовсім вірною: SSR залишиться колишнім (і не впаде), додавши будь-яку змінну, що є лінійною комбінацією існуючих змінних. Зрештою, ігноруючи нову змінну, ви можете досягти того самого мінімального значення SSR, яке ви досягнули зі старою змінною, тому додавання нової змінної ніколи не може погіршити ситуацію.

— whuber

Я відповів на подібне запитання тут: stats.stackexchange.com/questions/306267/… . Ви можете вважати його корисним.

— Джош

18

Якщо припустити, що ви маєте лінійну регресійну модель, для легкої нотації розгляньте спочатку одну, а потім дві коефіцієнти. Це узагальнює два набори коефіцієнтів. Перша модель - друга модель - Це вирішується мінімізацією суми залишків у квадраті, для моделі 1 ми хочемо мінімізувати а для другої моделі потрібно мінімізувати . Скажімо, ви знайшли правильні оцінки для моделі 1, тоді ви можете отримати ті самі самі залишкові квадрати у моделі 2, вибравши однакові значення для

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$ та дозволити . Тепер ви можете знайти, можливо, квадрати з меншою сумою, залишкові, шукаючи краще значення для .

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Підводячи підсумок, моделі вкладені, в тому сенсі, що все, що ми можемо моделювати за допомогою моделі 1, може відповідати моделі дві, модель друга загальніша за модель 1. Отже, в оптимізації ми маємо більшу свободу з моделлю дві, тому можемо завжди знаходити краще рішення.

Це насправді не має нічого спільного зі статистикою, але є загальним фактом щодо оптимізації.

— kjetil b halvorsen
джерело

1

Не думав таким чином, дуже корисно!

— Ерік Сю

1

SSR - це міра розбіжності між даними та моделлю оцінки.

Якщо у вас є можливість врахувати іншу змінну, то, якщо ця змінна містить більше інформації, вона, природно, буде більш жорсткою, що означає нижчу SSR.

— Хмара Скайуокера
джерело