OLS - СВІЙ. Але що робити, якщо я не дбаю про неупередженість та лінійність?

Теорема Гаусса-Маркова говорить нам, що ОЦП-оцінювач є найкращим лінійним неупередженим оцінником для моделі лінійної регресії.

Але припустимо, що я не переймаюся лінійністю та неупередженістю. Тоді чи існує якийсь інший (можливий нелінійний / упереджений) оцінювач для лінійної регресійної моделі, який є найбільш ефективним за припущеннями Гаусса-Маркова чи іншим загальним набором припущень?

Звичайно, є один стандартний результат: OLS сам по собі є найкращим об'єктивним оцінювачем, якщо крім припущень Гаусса-Маркова ми також припускаємо, що помилки зазвичай розподіляються. Для деяких інших конкретних розподілів помилок я міг обчислити відповідну оцінку максимальної ймовірності.

Але мені було цікаво, чи є якийсь оцінювач, який кращий, ніж OLS, у деяких відносно загальних наборах обставин?

Незаангажовані оцінки є типовими для вступних курсів статистики, оскільки вони: 1) класичні, 2) легко аналізувати математично. Нижня межа Cramer-Rao є одним з основних інструментів для 2). Від об'єктивних оцінок можливе поліпшення. Відхилення відхилень у відхиленнях є важливою концепцією статистики для розуміння того, як необ’єктивні оцінки можуть бути кращими, ніж неупереджені оцінки.

На жаль, типово важче проаналізувати упереджені оцінки. У регресії значна частина досліджень за останні 40 років стосувалася упередженої оцінки. Це почалося з регресії хребта (Hoerl and Kennard, 1970). Див. Франка та Фрідмана (1996) та Бурра та Фрі (2005) для деяких оглядів та розумінь.

Коефіцієнт зміщення дисперсії стає більш важливим у великих розмірах, де кількість змінних велика. Чарльз Штейн здивував усіх, коли довів, що в задачі «Нормальні засоби» середнє значення вибірки більше не допустимо, якщо (див. Stein, 1956). Оцінювач Джеймса-Штейна (Джеймс і Штейн 1961) був першим прикладом оцінки, що домінує над середньою вибіркою. Однак це також неприпустимо.$p \geq 3$

Важливою частиною проблеми з відхиленням відхилення є визначення, як слід відхиляти ухили. Не існує єдиного "найкращого" оцінювача . Недовгості були важливою частиною досліджень за останнє десятиліття. Див. Hesterberg та ін. (2008) для часткового огляду.

Більшість оцінок , згаданих вище , є нелінійними в . Навіть регресія хребта є нелінійною, коли дані використовуються для визначення параметра хребта.$Y$

Я не знаю, чи все в порядку з оцінкою Байєса? Якщо так, то залежно від функції втрати, ви можете отримати різні оцінки Bayes. Теорема Блеквелла стверджує, що оцінки Байєса ніколи не є об'єктивними. Теоретичний аргумент рішення зазначає, що кожне допустиме правило (тобто (або будь-яке інше правило, з яким воно порівнюється) має значення параметра, для якого ризик цього правила (суворо) менший, ніж у правила, щодо якого це правило порівнюється)) - це (узагальнене) правило Байєса.

Оцінювачі Джеймса-Штейна - це ще один клас оцінювачів (які можна вивести методом Байєса асимптотично), які в багатьох випадках кращі за OLS.

OLS може бути неприпустимим у багатьох ситуаціях, і приклад Джеймса-Штейна - це приклад. (також називається парадоксом Штейна).

Кей та Ельдар є приємним оглядовим документом щодо упередженого оцінювання з метою пошуку оцінок з мінімальною середньоквадратичною помилкою.