Коли максимальна ймовірність та метод моментів дають однакові оцінки?


17

Мені було задано це питання на днях і ніколи раніше його не розглядали.

Моя інтуїція випливає з переваг кожного оцінювача. Максимальна ймовірність є переважно тоді, коли ми впевнені в процесі генерації даних, оскільки, на відміну від методу моментів, він використовує знання всього розподілу. Оскільки оцінювачі MoM використовують лише інформацію, що міститься в моменти, схоже, що два методи повинні давати однакові оцінки, коли достатньо статистики для параметра, який ми намагаємося оцінити, є саме моментами даних.

Я перевірив цей результат кількома дистрибутивами. Нормальні (невідоме середнє значення та відмінність), експоненціальність та Пуассон мають достатню статистику, рівну їхнім моментам, і MLEs та MoM-оцінки однакові (не зовсім вірно для таких речей, як Poisson, де є кілька оцінок MoM). Якщо ми подивимось на Уніформу , достатньою статистикою для є а оцінки MoM та MLE різні.(0,θ)θmax(X1,,XN)

Я подумав, що, можливо, це химерність експоненціальної родини, але для Лапласа з відомим середнім достатньою статистикою є 1n|Xi|і MLE і Оцінювач MM для дисперсії не рівні.

Я поки що не міг показати будь-якого результату взагалі. Хтось знає про загальні умови? Або навіть зустрічний приклад допоможе мені вдосконалити свою інтуїцію.


4
MM і MLE збігаються за канонічним параметром у експоненціальних родинах. Але здійснення трансформації, як правило, означає, що ви втрачаєте цю еквівалентність (як це також пропонує відповідь Сіань).
hejseb

Відповіді:


16

Загальна відповідь полягає в тому, що оцінювач, заснований на методі моментів, не інваріантний бієктивною зміною параметризації, в той час як оцінка максимальної ймовірності є інваріантною. Тому вони майже ніколи не збігаються. (Майже ніколи не відбувається всіх можливих перетворень.)

F^F

Насправді, більш прийнятним способом вирішити питання було б запитати, коли оцінювача моменту достатньо, але це змушує розподіл даних по експонентній родині, леммою Пітмана-Коопмана, випадком, коли відповідь вже є відомий.

Примітка. У розподілі Лапласа, коли середнє відоме, проблема еквівалентна спостереженню за абсолютними величинами, які потім є експоненціальними змінними і є частиною експоненціальної сім'ї.


1
Чи взагалі існує параметризація, для якої MM і MLE рівні?
Перевернутий

1
Для експоненціальних сімей середня параметризація призводить до рівності. Зовнішні експоненціальні сім’ї, я не такий впевнений.
Сіань
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.