Як лінійна регресія використовує нормальний розподіл?

26

При лінійній регресії передбачається, що кожне передбачуване значення було вибране з нормального розподілу можливих значень. Дивись нижче.

Але чому передбачається, що кожне передбачуване значення походить від нормального розподілу? Як лінійна регресія використовує це припущення? Що робити, якщо можливі значення зазвичай не розподіляються?

введіть тут опис зображення

— лучано
джерело

2

Тільки помилки слідують за нормальним розподілом (що означає, що умовна ймовірність Y, заданої X, також є нормальною). Це, мабуть, традиційно через причини, що стосуються центральної граничної теореми. Але ви можете замінити нормальне на будь-який симетричний розподіл ймовірностей і отримати однакові оцінки коефіцієнтів через найменші квадрати. Що, однак, відрізняється від залишкової стандартної помилки, корисності пристосування та способом підтвердження припущень.

— Кіан

4

Звичайні припущення в основному приходять до висновку - тестування гіпотез, ІС, ІП. Якщо ви робите різні припущення, вони будуть різними, принаймні у невеликих зразках.

— Glen_b -Встановіть Моніку

7

До речі, для звичайної лінійної регресії ваша діаграма повинна малювати нормальні криві вертикально, а не по діагоналі.

— Glen_b -Встановити Моніку

29

Лінійна регресія сама по собі не потребує нормального (гауссового) припущення, оцінки можуть бути обчислені (по лінійних найменших квадратах) без будь-якої потреби в такому припущенні, і має досконалий сенс без цього.

Але потім, як статистики, ми хочемо зрозуміти деякі властивості цього методу, відповіді на такі питання: чи є оптимізатори найменших квадратів в якомусь сенсі оптимальними ? чи ми можемо краще зробити деякі альтернативні оцінки? Тоді, при нормальному розподілі термінів помилок, ми можемо показати, що такі оцінки дійсно є оптимальними, наприклад, вони "непідвладні мінімальній дисперсії" або максимальній вірогідності. Жодне таке не можна довести без нормального припущення.

Крім того, якщо ми хочемо побудувати (і проаналізувати властивості) довірчих інтервалів або тестів гіпотез, то використовуємо звичайне припущення. Але ми могли б замість цього побудувати довірчі інтервали якимись іншими способами, наприклад, завантаженням. Тоді ми не використовуємо звичайне припущення, але, на жаль, без цього, можливо, ми повинні використовувати якісь інші оцінки, ніж найменші квадрати, можливо деякі надійні оцінки?

На практиці, звичайно, нормальний розподіл - це максимум зручна вигадка. Отже, справді важливе питання полягає в тому, наскільки наближеною до нормальності нам потрібно бути заявою, щоб використовувати результати, згадані вище? Це набагато складніше питання! Результати оптимальності не є надійними , тому навіть дуже невелике відхилення від нормальності може зруйнувати оптимальність. Це аргумент на користь надійних методів. Для чергового вирішення цього питання дивіться мою відповідь на тему Чому слід використовувати t помилки замість звичайних помилок?

Інше відповідне питання: Чому нормальність залишків "ледве важлива взагалі" для оцінки лінії регресії?

 EDIT

Ця відповідь призвела до великої дискусії в коментарях, що знову призвело до мого нового питання: Лінійна регресія: будь-яка ненормальна дистрибуція, що дає тотожність OLS та MLE? які тепер нарешті отримали (три) відповіді, наводячи приклади, коли ненормальні розподіли призводять до найменших оцінок квадратів.

— kjetil b halvorsen
джерело

Помилка найменших квадратів еквівалентна звичайному припущенню.

— Ніл Г

4

Такого протиріччя немає. Наприклад, теорема Гаусса-Маркова говорить, що найменші лінійні квадрати оптимальні (принаймні у дисперсійному сенсі) серед усіх лінійних оцінок, без необхідності розподілу припущень (крім існуючих дисперсій). Найменші квадрати - це числова процедура, яку можна визначити незалежно від будь-якої ймовірнісної моделі! Тоді ймовірнісна модель використовується для аналізу цієї процедури з статистичної точки зору.

— kjetil b halvorsen

2

@NeilG Безумовно, що MLE для нормальних є найменшими квадратами, але це не означає, що найменші квадрати повинні спричинити припущення про нормальність. З іншого боку, великі відхилення від нормальності можуть зробити найменші квадрати поганим вибором (коли всі лінійні оцінники погані).

— Glen_b -Встановіть Моніку

1

@NeilG Те, що я сказав там, жодним чином не означає еквівалентність LS та нормальності, але ви прямо говорите, що вони є рівнозначними, тому я дійсно не думаю, що наші дві заяви навіть близькі до тавтологічних.

— Glen_b -Встановити Моніку

1

@Neil Чи можете ви показати, як ваша заява насправді означає те, що я сказав? Я справді цього не бачу.

— Glen_b -Встановіть Моніку

3

Це обговорення Що робити, якщо залишки зазвичай розподіляються, але у ні - ні? добре вирішив це питання.

Коротше кажучи, для проблеми з регресією ми припускаємо лише, що відповідь нормально обумовлена значенням x. Не обов’язково, щоб незалежні чи змінні відповіді були незалежними.

— enaJ
джерело

1

Але чому передбачається, що кожне передбачуване значення походить від нормального розподілу?

Немає глибоких причин для цього, і ви вільні змінити припущення щодо розповсюдження, переходячи до GLM, або до сильної регресії. LM (нормальний розподіл) популярний тим, що його легко підрахувати, досить стабільні і залишки на практиці часто більш-менш нормальні.

Як лінійна регресія використовує це припущення?

Як і будь-яка регресія, лінійна модель (= регресія з нормальною помилкою) шукає параметри, що оптимізують ймовірність для заданого розподілу. Дивіться тут приклад явного розрахунку ймовірності лінійної моделі. Якщо взяти вірогідність журналу лінійної моделі, вона виявиться пропорційною сумі квадратів, і оптимізацію цього можна обчислити досить зручно.

Що робити, якщо можливі значення зазвичай не розподіляються?

Якщо ви хочете встановити модель з різними розподілами, наступними кроками підручника будуть узагальнені лінійні моделі (GLM), які пропонують різні розподіли, або загальні лінійні моделі, які все ще є нормальними, але розслаблюють незалежність. Можливе багато інших варіантів. Якщо ви просто хочете зменшити ефект людей, що втратили люди, ви можете, наприклад, розглянути стійкий регрес.

— Флоріан Хартіг
джерело

0

Переглянувши запитання ще раз, я думаю, що немає причин використовувати звичайний розподіл, якщо ви не хочете виконати якийсь висновок щодо параметра регресії. І ви можете застосувати лінійну регресію та ігнорувати розподіл шуму.

— Ю Чжан
джерело

2

Це не має для мене особливого сенсу.

— SmallChess

0

$(x_i,y_i)$ $y = \beta x +c$ $\beta$ $\sum_i (y_i - \sum_i \beta x_i - c)^2$ $\eta_i = y_i - (\beta x_i +c)$ $\beta$ $\beta$ $\beta$ $\beta$ $\beta$

— агіненський
джерело