Що таке метод моментів і чим він відрізняється від MLE?

13

Загалом, здається, що метод моментів - це лише узгодження спостережуваної середньої вибірки або відхилення від теоретичних моментів для отримання оцінок параметрів. Це часто те саме, що MLE для експоненціальних сімей, я збираю.

Однак важко знайти чітке визначення методу моментів та чітке обговорення того, чому MLE здається загалом сприятливим, хоча він може бути складнішим для пошуку режиму ймовірності.

Це питання, чи MLE ефективніший, ніж метод Moment? є цитата професора Дональда Рубіна (з Гарварду), що всі знають з 40-х років, що MLE б'є MoM, але мені було б цікаво дізнатися історію чи аргументи для цього.

maximum-likelihood method-of-moments

— фрелк
джерело

2

Ось презентації обговорювали плюси / мінуси MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11 / ...

— Джон

Деякі відповіді на сайті, які обговорюють метод моментів, можуть бути актуальними, щоб допомогти вам зрозуміти.

— Glen_b -Встановіть Моніку

Дивіться також stats.stackexchange.com/a/129188/28746

— Алекос Пападопулос

1

@Jon: Мертве посилання.

— Бен -

7

У MoM оцінювач вибирається таким чином, що деяка функція має умовне очікування, рівне нулю. Напр. . Часто очікування умовне . Як правило, це перетворюється на задачу мінімізації квадратичної форми в цих очікуваннях за допомогою вагової матриці. $E[g(y,x,\theta)] = 0$ $x$

У MLE оцінювач максимально збільшує функцію вірогідності журналу.

У широкому узагальненні MLE робить суворіші припущення (повна щільність) і, отже, зазвичай менш надійні, але ефективніші, якщо припущення виконуються (це досягає нижньої межі Крамера Рао на асимптотичній дисперсії).

У деяких випадках обидва збігаються, OLS є одним із помітних прикладів, коли аналітичне рішення є ідентичним, а значить, і оцінювач поводиться однаково.

У певному сенсі ви можете вважати MLE (майже у всіх випадках) як оцінювач MoM, оскільки оцінювач встановлює очікуване значення градієнта функції ймовірності журналу рівне нулю. У цьому сенсі є випадки, коли щільність неправильна, але MLE все ще відповідає тому, що умови першого порядку все ще виконуються. Потім MLE позначається як "квазі-ML".

— Суперпронкер
джерело

4

Зазвичай з MoM посилаються на випадок, коли функція g є деякою силою, тому очікування є моментом. Це більше схоже на "узагальнений метод моментів".

— kjetil b halvorsen

3

OLS - метод оцінки моментів (MoME). Це також максимальний показник ймовірності (MLE), але лише для особливого випадку ймовірності - звичайного. Для іншого розповсюдження, OLS не буде MLE, в той час як він все ще є MoME.

— Річард Харді

2

Який метод моментів?

Про це є приємна стаття у Вікіпедії.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Це означає, що ви оцінюєте параметри сукупності, вибираючи такі параметри, щоб розподіл населення мав моменти, еквівалентні спостережуваним моментам у вибірці.

Чим він відрізняється від MLE

Максимальна оцінка ймовірності мінімізує функцію ймовірності. У деяких випадках цей мінімум іноді можна виразити через встановлення параметрів сукупності, рівних параметрам вибірки.

$\mu = \bar{x}$ $\mu$

мк = 1 / н \sum л н (х_{i}) = \bar{л н (х)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Тоді як рішення МО вирішується

е х p (мк + \frac{1}{2} σ^{2}) = \bar{х}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

мк = л н (\bar{х}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Таким чином, МО є практичним способом оцінювання параметрів, що призводить часто до точно такого ж результату, як і MLE (оскільки моменти вибірки часто збігаються з моментами популяції, наприклад середнє значення вибірки розподіляється навколо середньої сукупності, і до деякого фактора / упередженості, це спрацьовує дуже добре). MLE має більш сильну теоретичну основу, і, наприклад, дозволяє оцінювати помилки за допомогою матриці Фішера (або її оцінок), і це набагато більш природний підхід у випадку проблем з регресією (я не пробував цього, але я думаю, що a МО для вирішення параметрів у простому лінійному регресіїне працює легко і може дати погані результати. У відповіді суперпронкера здається, що це робиться деяким мінімізацією функції. Для MLE ця мінімізація виражає більшу ймовірність, але мені цікаво, чи представляє вона подібну річ для MoM).

— Секст Емпірік
джерело

1

Сорорі, я не можу минулих коментарів ..

MLE робить суворіші припущення (повна щільність) і, отже, зазвичай менш надійні, але ефективніші, якщо припущення виконуються

Насправді в MITx " Основи статистики " нас вчать навпаки, що МОП покладається на конкретне рівняння моментів, і якщо ми підбираємо неправильну щільність, ми робимо абсолютно неправильно, в той час як MLE є більш стійким, оскільки ми у будь-якому випадку мінімізуємо розбіжність КД ..

— Антонелло
джерело

Відсутність репутації не є законним приводом для використання простору відповіді для коментаря.

— Майкл Р. Черник