Чому потрібен MCMC при оцінці параметра за допомогою MAP

З огляду на формулу для оцінки параметра MAP для чого потрібен підхід MCMC (або подібний), я не міг просто взяти похідну, встановити її в нуль і потім вирішити для параметра?

bayesian estimation mcmc

— Дану
джерело

Чудове запитання!

Відповіді:

Якщо ви знаєте, з якої родини походить ваша особа, і якщо пошук похідної від цього розподілу є аналітично можливим, це правильно.

Однак, коли ви використовуєте MCMC, ви, ймовірно, не опинитесь у такому типі ситуації. MCMC створений для ситуацій, коли у вас немає чіткого аналітичного поняття про те, як виглядає ваш задник.

— Крістоф Ганк
джерело

Я думаю, це трохи вводить в оману: MCMC, як правило, не використовується для пошуку оцінки MAP (за межами спеціальних випадків, таких як алгоритм MCEM).

— Кліф АВ

Я з вами принципово не згоден. Але MCMC може бути і використовується для імітації заднього розподілу . І як тільки ви це зробите, ви зможете точно знайти режим цього розподілу, також MAP. Який, я вважаю, те, що мав на увазі ОП, тому я не зовсім впевнений, чому моя відповідь була б оманливою.

— Крістоф Хенк

Так, чи є MCMC методом вибору при роботі з MAP, якщо немає аналітичного способу оптимізації параметра?

— Дану

Я ніколи не чув, щоб використовувати простий MCMC для пошуку режиму заднього розподілу (технічно це можна зробити, але це вкрай неефективно). Оскільки ми зазвичай можемо оцінити функцію, пропорційну задньому розподілу, максимізація цього буде еквівалентна максимізації заднього розподілу. Оптимізатори поза межами коробки працюватимуть так само добре, як і будь-яка проблема частопелістичної ймовірності (тобто, іноді вам потрібно буде спеціалізуватися на них).

— Кліф АВ

@ Dänu Ви, мабуть, не хочете використовувати MCMC (щоб бути педантичним, ланцюжок Маркова), щоб знайти максимуми. Алгоритм оптимізації повинен працювати краще.

— jtobin

Більшість плакатів виявляється складно оптимізувати аналітично (тобто, взявши градієнт і встановивши його рівним нулю), і вам доведеться вдатися до численного алгоритму чисельної оптимізації, щоб зробити MAP.

Як бік: MCMC не пов'язаний з MAP.

MAP - для максимального a posteriori - означає знаходження локального максимуму чогось пропорційного задній щільності та використання відповідних значень параметрів як оцінок. Визначається як

{\hat{θ}}_{M A P} = {argmax}_{θ} p (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

MCMC зазвичай використовується для наближення очікувань щодо чогось пропорційного щільності ймовірності. У випадку з задньою, це

{\hat{θ}}_{M C M C} = n^{- 1} \sum_{i = 1}^{n} θ_{i}^{0} \approx \int_{Θ} θ p (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

де - це сукупність позицій простору параметрів, які відвідує відповідний ланцюг Маркова. Загалом, у будь-якому змістовному сенсі. $\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

Суть у тому, що MAP включає оптимізацію , тоді як MCMC базується на вибірці .

— jtobin
джерело

Ви заявляєте, що позиціонерам виявляється складно оптимізувати аналітично, як це стосується MAP. Тож чи можливий MAP лише в тому випадку, якщо задній може бути оптимізований аналітично і якщо це не так, потрібно вдатися (наприклад) до підходу MCMC?

— Дану

Ні, замість того, щоб прийти з аналітичним рішенням, можна використовувати ітеративний алгоритм, щоб придумати рішення (тобто, якщо задня частина журналу увігнута, ви можете, наприклад, використовувати метод Ньютона).

— Кліф АВ

MAP позначає пошук значень параметрів, які (локально) максимізують задній. Не має значення, як ви отримуєте ці значення параметрів: розв’язування максимумів аналітичним шляхом, використовуючи числову процедуру, автоматичну диференціацію тощо

— jtobin