Максимальна оцінка ймовірності - чому він використовується, незважаючи на те, що у багатьох випадках упереджений

Максимальна оцінка ймовірності часто призводить до упереджених оцінок (наприклад, її оцінка для дисперсійної вибірки є упередженою для розподілу Гаусса).

Що тоді робить його таким популярним? Чому саме його так багато використовують? Також, що зокрема робить його кращим, ніж альтернативний підхід - метод моментів?

Крім того, я помітив, що для Гаусса просте масштабування оцінювача MLE робить його неупередженим. Чому це масштабування не є стандартною процедурою? Я маю на увазі - Чому після обчислення MLE не буває звичайним знаходити необхідне масштабування, щоб зробити оцінювач об'єктивним? Здається, що стандартна практика є простим обчисленням оцінок MLE, за винятком, звичайно, добре відомого випадку Гаусса, де коефіцієнт масштабування відомий.

Незаангажованість не обов'язково особливо важлива сама по собі.

Окрім дуже обмеженого набору обставин, більшість корисних оцінок є упередженими, однак вони отримані.

Якщо два оцінювачі мають однакову дисперсію, можна легко встановити аргумент за те, щоб віддати перевагу неупередженому перед упередженим, але це незвична ситуація (тобто ви можете з розумом віддати перевагу неупередженість, цетерис парибус - але ті примхливі цетери майже ніколи не парушаються ).

Більш типово, якщо ви хочете неупередженості, ви будете додавати певну дисперсію, щоб отримати її, і тоді питання буде в тому, чому б ви це зробили ?

Зсув - наскільки очікуване значення мого оцінювача буде в середньому занадто високим (при негативному зміщенні вказується занадто низький).

Коли я розглядаю невеликий оцінювач вибірки, мені це зовсім не цікаво. Мене зазвичай більше цікавить, наскільки невірним буде мій оцінювач у цьому випадку - моя типова відстань праворуч ... щось на зразок помилки «середньоквадратичний квадрат» або «середня абсолютна помилка» матиме більше сенсу.

Отже, якщо вам подобається низька дисперсія та низька упередженість, прохання сказати про оцінку мінімальної середньої квадратичної помилки має сенс; вони дуже рідко є неупередженими.

Упередженість та неупередженість - це корисне поняття, яке слід пам’ятати, але це не особливо корисна властивість шукати, якщо тільки ви не порівнюєте оцінки з однаковою дисперсією.

Оцінювачі ML мають тенденцію бути низькою дисперсією; як правило, вони не є мінімальними MSE, але вони часто мають менший MSE, ніж те, що ви можете змінити, щоб вони не були об'єктивними (коли ви взагалі можете це зробити).

В якості прикладу розгляне оцінку дисперсії при відборі проб з нормального розподілу σ 2 МСКО = S 2$\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$$n-1$

MLE дає найбільш вірогідне значення параметрів моделі, враховуючи модель та наявні дані - що є досить привабливою концепцією. Чому б ви вибрали значення параметрів, які роблять спостережувані дані менш вірогідними, коли ви можете вибрати значення, які роблять спостережувані дані найбільш ймовірними для будь-якого набору значень? Чи хотіли б ви пожертвувати цією особливістю заради неупередженості? Я не кажу, що відповідь завжди зрозуміла, але мотивація щодо MLE досить сильна та інтуїтивна.

Наскільки я знаю, MLE може бути більш широко застосований, ніж метод моментів. MLE здається більш природним у випадках прихованих змінних; наприклад, модель ковзної середньої величини (MA) або узагальнену модель авторегресивної умовної гетероскдастичності (GARCH) можна безпосередньо оцінити MLE (безпосередньо кажучи про те, що достатньо вказати функцію ймовірності та подати її на процедуру оптимізації) - але не методом моментів (хоча непрямі рішення, що використовують метод моментів, можуть існувати).

Власне, масштабування максимальних оцінок імовірності для отримання неупереджених оцінок є стандартною процедурою в багатьох проблемах з оцінкою. Причиною тому є те, що mle є функцією достатньої статистики, і тому теорема Рао-Блеквелла, якщо ви можете знайти неупереджений оцінювач на основі достатньої статистики, то у вас є об'єктивний оцінювач мінімальної варіабельності.

Я знаю, що ваше питання є більш загальним, ніж це, але те, що я хочу наголосити, - це те, що ключові поняття тісно пов'язані з вірогідністю та на основі його оцінок. Ці оцінки можуть не бути об'єктивними в кінцевих зразках, але вони є асимптотичними, і, тим більше, вони асимптотично ефективні, тобто вони досягають межі дисперсії Cramer-Rao для неупереджених оцінювачів, що може не завжди стосуватися оцінок MOM.

Щоб відповісти на ваше запитання, чому MLE настільки популярний, врахуйте, що, хоча він може бути упередженим, він відповідає стандартним умовам. Крім того, він є асимптотично ефективним, тому, принаймні, для великих зразків, MLE, ймовірно, може зробити так само добре чи краще, як і будь-який інший оцінювач, який ви можете приготувати. Нарешті, MLE знайдений за простим рецептом; взяти функцію ймовірності та максимізувати її. У деяких випадках цей рецепт може бути важким для дотримання, але для більшості проблем це не так. Крім того, щойно ви отримаєте цю оцінку, ми можемо отримати асимптотичні стандартні помилки відразу, використовуючи інформацію Фішера. Без використання інформації Фішера, це часто насправді важко вивести оцінки похибки.

Ось чому оцінка MLE дуже часто є переходом до оцінювача (якщо ви не баєс); це просто втілити в життя і, ймовірно, буде так само добре, якщо не краще, ніж будь-що інше, вам потрібно зробити більше роботи для приготування їжі.

Я додам, що іноді (часто) ми використовуємо оцінювач MLE, тому що це ми отримали, навіть якщо в ідеальному світі це було б не те, що ми хочемо. (Я часто вважаю статистику такою, як інженерія, де ми використовуємо те, що ми отримали, а не те, що ми хочемо.) У багатьох випадках легко визначити і вирішити для MLE, а потім отримати значення, використовуючи ітеративний підхід. Враховуючи, що для даного параметра в даній ситуації може бути кращий оцінювач (для деякого значення "кращого"), але знаходження цього може зажадати бути дуже розумним; і коли ви зробите розумним, у вас залишається лише кращий оцінювач для цієї конкретної проблеми.