Чому ми так сильно піклуємося про нормально розподілених термінах помилок (і гомоскедастичності) в лінійній регресії, коли нам цього не потрібно?

Я припускаю, що я засмучуюся кожного разу, коли чую, як хтось каже, що ненормальність залишків та / або гетерокедастичність порушує припущення OLS. Для оцінки параметрів в моделі OLS жодне з цих припущень теоремою Гаусса-Маркова не потрібно. Я бачу, як це має значення в Тестуванні гіпотез для моделі OLS, тому що, припускаючи, що ці речі дають нам чіткі формули для t-тестів, F-тестів та загальної статистики Вальда.

Але зробити тестування гіпотез без них не надто важко. Якщо ми відмовляємося лише від гомосекдастичності, ми можемо легко обчислити надійні стандартні помилки та кластерні стандартні помилки. Якщо ми взагалі скинемо нормальність, ми можемо скористатися завантажувальним завантаженням і, враховуючи іншу параметричну специфікацію для термінів помилки, коефіцієнта ймовірності та тестів множника Лагранжа.

Прикро, що ми навчаємо це саме так, бо я бачу, що багато людей бореться з припущеннями, які їм не доведеться зустрічатися в першу чергу.

Чому ми так сильно наголошуємо на цих припущеннях, коли маємо можливість легко застосовувати більш стійкі методи? Я пропускаю щось важливе?

В економетриці ми б сказали, що ненормальність порушує умови класичної нормальної лінійної регресійної моделі, тоді як гетерокедастичність порушує як припущення щодо CNLR, так і класичної лінійної регресійної моделі.

Але ті, що говорять "... порушує OLS", також виправдані: назва Ordinary Least-Squares походить від Гаусса безпосередньо і по суті відноситься до звичайних помилок. Іншими словами, "OLS" - це не абревіатура для оцінки найменших квадратів (що є набагато більш загальним принципом та підходом), а CNLR.

Гаразд, це була історія, термінологія та семантика. Я розумію суть питання ОП так: "Чому ми повинні наголошувати на ідеалі, якщо ми знайшли рішення для випадку, коли його немає?" (Оскільки припущення CNLR є ідеальними, в тому сенсі, що вони забезпечують відмінні властивості оцінювача найменшого квадрата "поза полкою " і без необхідності вдаватися до асимптотичних результатів. Пам'ятайте також, що OLS є максимальною ймовірністю, коли помилки є нормальними ).

Як ідеал, це гарне місце для початку навчання . Це те, що ми завжди робимо при викладанні будь-якого предмету: "прості" ситуації - це "ідеальні" ситуації, вільні від складностей, з якими насправді стикаються в реальному житті та реальних дослідженнях, і для яких не існує певних рішень .

І це те, що я вважаю проблематичним у посту ОП: він пише про надійні стандартні помилки та завантажувальний інструмент, ніби вони є «вищими альтернативами», або нерозумними рішеннями відсутності зазначених припущень, що обговорюються, про які, крім того, пише ОП

".. припущення, що людям не доведеться зустрічатися"

Чому? Тому що існують деякі методи вирішення ситуації, методи, які мають певну обґрунтованість, звичайно, але вони далеко не ідеальні? Стандартні помилки завантаження та стійкі до гетерокедастичності не є рішеннями, якби вони справді були, вони стали б домінуючою парадигмою, направляючи CLR та CNLR до підручників історії. Але їх немає.

Отже, ми починаємо з набору припущень, які гарантують ті властивості оцінювача, які ми вважали важливими (це ще одне обговорення, чи властивості, позначені як бажані, справді є такими, якими повинні бути), так що ми будемо видно, що будь-яке їх порушення має наслідки, які неможливо повністю компенсувати за допомогою знайдених нами методів для подолання відсутності цих припущень. Було б дійсно небезпечно, науково кажучи, передати відчуття, що "ми можемо прокласти шлях до істинності питання", тому що ми просто не можемо.

Таким чином, вони залишаються недосконалим рішенням проблеми , а не альтернативним та / або, безумовно, чудовим способом вчинити. Тому ми повинні спочатку навчити безпроблемну ситуацію, потім вказати на можливі проблеми, а потім обговорити можливі рішення. Інакше ми піднімемо ці рішення до такого статусу, якого вони насправді не мають.

Якби ми мали час у класі, де ми вперше запроваджували регресійні моделі для обговорення завантажувальної програми та інших прийомів, про які ви згадали (включаючи всі їхні припущення, підводні камені тощо), то я би погодився з вами, що говорити про нормальність не варто припущення про гомоскедастичність. Але насправді, коли регресія введена вперше, у нас немає часу поговорити про всі інші речі, тому ми вважаємо за краще студенти бути консервативними і перевіряти, чи не потрібні речі, і проконсультуватися зі статистиком (або взяти іншу статистику) клас або 2 або 3, ...), коли припущення не виконуються.

Якщо ви скажете студентам, що ці припущення не мають значення, крім випадків, коли ..., тоді більшість згадає лише важливу частину, а не важливу, коли частини.

Якщо у нас є випадок з нерівними відхиленнями, то так, ми все одно можемо підходити до лінії найменшого квадрата, але чи все ж це "найкраща" лінія? або було б краще проконсультуватися з кимсь із більшим досвідом / тренінгами щодо того, як підходити до ліній у цьому випадку. Навіть якщо ми задоволені найменшою лінією квадратів, чи не слід визнавати, що прогнози матимуть різні властивості для різних значень прогноктора? Тож перевірка на нерівні відхилення корисна для пізніших інтерпретацій, навіть якщо вона нам не потрібна для тестів / інтервалів тощо. що ми використовуємо.

1) рідко люди хочуть лише оцінити. Зазвичай висновок - CI, PI, тести - є метою або принаймні її частиною (навіть якщо іноді це робиться відносно неофіційно)

2) Такі речі, як теорема Гаусса Маркова, не завжди мають велику допомогу - якщо розподіл достатньо далеко від нормального, лінійний оцінювач не дуже корисний. Немає сенсу отримувати СИНЮ, якщо жоден лінійний оцінювач не дуже хороший.

3) такі речі, як сендвіч-оцінки, включають велику кількість неявних параметрів. Це все ще може бути добре, якщо у вас є багато даних, але багато разів це не так.

4) Інтервали прогнозування залежать від форми умовного розподілу, включаючи хорошу обробку дисперсії під час спостереження - ви не можете так легко розмахувати деталями за допомогою ПІ.

5) такі речі, як завантажувальна програма, часто зручні для дуже великих зразків. Іноді вони борються в невеликих зразках - і навіть у помірних розмірах зразків ми часто виявляємо, що фактичні властивості покриття є не що інше, як рекламне.

Що вже говорити - небагато речей - це такий тип панацеї, який люди хотіли б. Усі ці речі мають своє місце, і, безумовно, є безліч випадків, коли (скажімо, нормальність не потрібна, і де оцінку та умовиводів (тести та ІС) можна зробити розумно, не вимагаючи нормальності, постійної зміни та ін.

Одне, що часто здається забутим - це інші параметричні припущення, які можна зробити замість цього. Часто люди достатньо знають про ситуацію, щоб зробити досить пристойне параметричне припущення (наприклад, сказати ... що умовна реакція, як правило, буде правильним перекосом з sd в значній мірі пропорційною, щоб означати, що може привести нас до розгляду скажімо, гамма або лонормальна модель); часто це може мати справу як з гетерокедастичністю, так і з ненормальністю за один раз.

Дуже корисним інструментом є моделювання - за допомогою цього ми можемо вивчити властивості наших інструментів у ситуаціях, подібних до тих, з яких, можливо, виникли наші дані, і тому або використати їх у втішному знанні про те, що вони мають хороші властивості в цих випадках ( або іноді бачимо, що вони працюють не так добре, як ми можемо сподіватися).