Ідея та інтуїція за квазі-максимальною оцінкою ймовірності (QMLE)

Питання: Яка ідея та інтуїція лежать в основі оцінки максимально можливої ​​ймовірності (QMLE; також відома як псевдооцінка максимальної ймовірності, PMLE)? Що змушує оцінювач працювати, коли фактичний розподіл помилок не відповідає передбачуваному розподілу помилок?

Сайт Вікіпедії для QMLE чудовий (короткий, інтуїтивно зрозумілий), але я можу використати ще трохи інтуїції та деталей, можливо, також ілюстрації. Інші посилання найкраще вітаються. (Я пам’ятаю, що переглядав досить багато підручників з економетрики, шукаючи матеріали про QMLE, і, на мій подив, QMLE охоплювався лише одним або двома з них, наприклад, Wooldridge «Економетричний аналіз даних перерізів та панелей» (2010), глава 13 Розділ 11, стор. 502-517.)

"Що змушує оцінювач працювати, коли фактичний розподіл помилок не відповідає передбачуваному розподілу помилок?"

В принципі, QMPLE не "працює", в сенсі є "хорошим" оцінником. Теорія, розроблена навколо QMLE, є корисною, оскільки призвела до тестів на помилку.

Що, звичайно, робить QMLE - це послідовно оцінювати вектор параметрів, що мінімізує розбіжність Куллбека-Лейбера між справжнім розподілом та заданим. Це звучить добре, але мінімізація цієї відстані не означає, що мінімальна відстань не буде величезною.

Проте ми читаємо, що існує багато ситуацій, коли QMLE є послідовним оцінником для справжнього вектора параметрів. Це потрібно оцінювати в кожному конкретному випадку, але дозвольте навести одну дуже загальну ситуацію, яка свідчить про те, що QMLE не притаманні нічого, що робить його послідовним для справжнього вектора ...

... Швидше, це факт, що він збігається з іншим завжди оцінним оцінкою (підтримуючи припущення про ергодично-стаціонарний зразок): старомодним, методом Моментальних Оцінок.

Іншими словами, коли сумніваєтесь у розподілі, стратегія, яку слід враховувати, «завжди вказуйте розподіл, для якого Оцінювач максимальної ймовірності параметрів, що цікавлять, збігається з Оцінювачем Методу Моментів» : таким чином, незалежно від того, як відмітити позначку це ваше припущення щодо розподілу, оцінювач принаймні буде послідовним.

Ви можете прийняти цю стратегію до смішних крайнощів: припустимо, що у вас є дуже великий зразок iid із випадкової величини, де всі значення позитивні. Продовжуйте і припускайте, що випадкова величина зазвичай розподіляється та застосовуйте максимальну ймовірність для середнього та дисперсії: ваш QMLE буде відповідати істинним значенням.

Звичайно, це ставить питання, чому прикидатися застосуванням MLE, оскільки те, що ми, по суті, робимо, покладається і ховається за сильними сторонами методу Моменту (що також гарантує асимптотичну нормальність)?

В інших більш доопрацьованих випадках QMLE може виявитись узгодженим з параметрами, що цікавлять, якщо ми можемо сказати, що ми вказали правильно умовну середню функцію, але не розподіл (це, наприклад, у випадку Pooled Poisson QMLE - див. Wooldridge) .

Цікаво, однак, що це формулювання прислухалося до методу оцінювання типу моментів, де можна було б просто «встановити те, що вони хочуть оцінити» в РЗС викладеного в дужці виразу, і довіряти, що вираз буде сходитися до «того цікавого річ ». Це була прото-форма оцінки рівнянь.

Оцінка рівнянь не була новою концепцією. Насправді, спроби ще в 1870-х та на початку 1900-х років представити ЕЕ правильно виведені граничні теореми з ЕЕ за допомогою розширень Тейлора, але відсутність зв'язку з імовірнісною моделлю стало причиною суперечок серед критичних рецензентів.

$S$

Однак, на відміну від відповіді вище, квазіподібність широко використовується. Одна дуже приємна дискусія в McCullogh та Nelder стосується моделювання популяції підковових крабів. На відміну від людей, їх звички до спарювання просто химерні: там, де багато самців можуть стикатися до однієї самки в неміряних «скупченнях». З точки зору екологів, насправді спостереження за цими кластерами далеко не виходить за межі їхньої роботи, але, тим не менш, досягнення прогнозів чисельності населення від вилову та випуску постало серйозне завдання. Виявляється, що ця схема спаровування призводить до моделі Пуассона зі значною недогіперсією, тобто дисперсія пропорційна, але не дорівнює середній.

Дисперсії вважаються параметрами неприємності в тому сенсі, що ми, як правило, не грунтуємось на їх значенні, а спільна оцінка їх в одній ймовірності призводить до дуже нерегулярної ймовірності. Квазідобрість є дуже корисною областю статистики, особливо з огляду на подальшу роботу над узагальненими рівняннями оцінки .

У мене було подібне питання, як оригінальне, яке тут розмістив Річард Харді. Моя плутанина полягала в тому, що параметри, оцінені з квазі-ML, можуть не існувати у невідомому "справжньому" розподілі. У цьому випадку, що конкретно означає "консистенція"? До чого сходяться оціночні параметри?

Після перевірки деяких посилань ( White (1982) має бути однією з оригінальних статей, але вона є закритою. Корисна експозиція, яку я знайшла, - це http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), мої думки простою англійською мовою такі: після визнання того, що розподіл, який ми припускаємо, є лише наближенням до невідомого справжнього, практичне, що ми можемо зробити, це знайти значення параметра, щоб мінімізувати їх відстань (відстань Куллбека-Лейблераякщо бути точним). Краса теорії полягає в тому, що, не знаючи справжнього розподілу, оцінені параметри від квазі-ML сходяться до цього параметра, що мінімізує відстань (звичайно, є й інші корисні результати з теорії, такі як асимптотичний розподіл оцінюваного параметри і т. д., але вони не є фокусом мого питання тут).

Так само, як Алекос Пападополос згадував у своїй відповіді вище, мінімізоване відстань все ще може бути великим. Тож розподіл, який ми припускаємо, може бути поганим наближенням до справжнього. Все, що може зробити квазі-ML - це зробити наш передбачуваний розподіл максимально наближеним до невідомого справжнього. Сподіваюся, мій досвід, який тут поділяться, може бути корисним для інших, хто має подібні плутанини.