Оцінка MLE проти MAP, коли використовувати який?

MLE = Максимальна оцінка ймовірності

MAP = Максимум a posteriori

MLE інтуїтивно зрозумілий / наївний тим, що він починається лише з ймовірності спостереження за даним параметром (тобто функцією ймовірності) і намагається знайти параметр, що найкраще відповідає спостереженню . Але це не враховує попередніх знань.

MAP видається більш розумним, оскільки він враховує попередні знання за правилом Байєса.

Тут пов'язане питання, але відповідь не є ґрунтовним. /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

Отже, я думаю, що ПДЧ набагато краще. Це так? І коли я повинен використовувати який?

Якщо попередня ймовірність задана як частина налаштування проблеми, тоді використовуйте цю інформацію (тобто використовуйте MAP). Якщо така попередня інформація не надана або припускається, то MAP неможливий, а MLE - розумний підхід.

Байєсець погодився б з вами, а частофіліст - ні. Це питання думки, перспективи та філософії. Я думаю, що це робить багато шкоди статистичній спільноті, намагаючись стверджувати, що один метод завжди кращий за інший. Багато проблем матимуть байєсівські та частолістські рішення, подібні до тих пір, поки байєсівські не мають занадто сильних рівнів.

Якщо припустити, що ви маєте точну попередню інформацію, MAP краще, якщо проблема має нульову функцію втрат на оцінці. Якщо збиток не дорівнює нулю (а в багатьох реальних проблемах це не так), то може статися, що MLE досягне менших очікуваних втрат. У цих випадках було б краще не обмежуватися MAP та MLE як єдиними двома варіантами, оскільки вони обидва неоптимальні.

Коротка відповідь @bean дуже добре пояснює це. Однак я хотів би вказати на розділ 1.1 паперового відбору проб Гіббса для непосвячених Ресниками та Хардісті, який розглядає питання більш глибоко. Я пишу кілька рядків з цього документу з дуже незначними модифікаціями (ця відповідь повторює кілька речей, які ОП знає заради повноти)

MLE

Формально MLE виробляє вибір (параметр моделі), який, найімовірніше, генерує спостережувані дані.

КАРТА

Оцінений ПДЧ - це вибір, який, швидше за все, з огляду на спостережувані дані. На відміну від MLE, оцінка MAP застосовує правило Байєса, так що наша оцінка може враховувати попередні знання про те, що ми очікуємо, щоб наші параметри були у вигляді попереднього розподілу ймовірностей.

Виловити

Оцінки MLE та MAP дають нам найкращу оцінку відповідно до їх відповідних визначень "кращих". Але зауважте, що використання однієї оцінки - чи то MLE чи MAP - викидає інформацію. В принципі, параметр може мати будь-яке значення (від домену); може ми не отримаємо кращих оцінок, якби врахували весь розподіл, а не лише одне оцінене значення параметра? Якщо ми це зробимо, ми використовуємо всю інформацію про параметр, який ми можемо витягнути зі спостережуваних даних, X.

Тож з цим уловом ми можемо захотіти використовувати жоден із них. Крім того, як уже згадували боб і Тім, якщо вам доведеться скористатися одним із них, використовуйте MAP, якщо у вас був попередній. Якщо у вас немає пріорів, MAP зменшується до MLE. Спрямовані пріорі допоможуть вирішити проблему аналітичним способом, інакше використовувати Gibbs Sampling.

$$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$$

Попередній трактується як регуляризатор, і якщо ви знаєте попередній розподіл, наприклад, Гауссін ( ) в лінійній регресії, і краще додати це регуляризація для кращих показників.$\exp(-\frac{\lambda}{2}\theta^T\theta)$

Якщо даних менше, і у вас є пріори - "ПОДІЙТЕ КАРТУ". Якщо у вас багато даних, MAP перейде до MLE. Таким чином, у випадку багато сценаріїв даних завжди краще робити MLE, а не MAP.