Гамільтоніан Монте-Карло проти послідовного Монте-Карло

Я намагаюся відчути відносні достоїнства та недоліки, а також різні області застосунку цих двох схем MCMC.

Коли ви використовували б які і чому?
Коли один може вийти з ладу, а інший - ні (наприклад, де застосовується HMC, але SMC немає, і навпаки)
Чи міг би один, дуже наївно наданий, застосувати міру корисності для одного методу порівняно з іншим (тобто один, загалом, кращий )?

Зараз я читаю чудовий документ Betancourt про HMC .

SMC не є технікою MCMC, тобто немає ланцюга Маркова, який будується при використанні SMC.

— jaradniemi

Колись ви використовуєте mcmc в межах smc. І іноді ви використовуєте smc в межах mcmc. На момент написання цього запису я не знаю жодної роботи, яка поєднує використання hmc та smc.

— Тейлор

Я сам хотів би краще зрозуміти співвідношення між SMC (він же, фільтрування частинок) і HMC. Дякую за запитання! Я зазначаю, що цей документ, який, здається, на перший погляд являє собою певну змішаність двох підходів: arxiv.org/pdf/1504.05715v2.pdf

— Девід К. Норріс

Гамільтоніант Монте-Карло добре справляється з безперервним розподілом цілей з "дивними" формами. Він вимагає, щоб цільовий розподіл був диференційованим, оскільки він в основному використовує нахил цільового розподілу, щоб знати, куди йти. Ідеальний приклад - функція у формі банана.

Ось стандартний Метрополіс Гастінгс у функції банана: коефіцієнт прийняття 66% та дуже поганий покрив.

Ось з HMC: 99% прийняття з хорошим покриттям.

SMC (метод, що стоїть за фільтруванням частинок) майже неперевершений, коли розподіл цілі є багатомодальним, особливо якщо є кілька окремих ділянок з масою. Замість того, щоб один ланцюг Маркова потрапив у режим, ви маєте кілька ланцюгів Маркова, які працюють паралельно. Зауважте, що ви використовуєте його для оцінки послідовності розподілів, як правило, різкої різкості. Ви можете створити зростаючу різкість, використовуючи щось на зразок симульованого відпалу (покладіть на мішень прогресивно зростаючий показник). Або, як правило, в баєсівському контексті послідовність розподілів - це послідовність плакатів:

П (θ | у_{1}), П (θ | у_{1}, у_{2}), . . ., П (θ | у_{1}, у_{2}, . . ., у_{N})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

Наприклад, ця послідовність є відмінною ціллю для SMC:

Паралельний характер SMC робить його особливо придатним для розподілених / паралельних обчислень.

Підсумок:

HMC: добре для витягнутої дивної цілі. Не працює з неперервною функцією.
SMC: добре для мультимодальних та неперервних випадків. Можливо, повільніше зближуються або використовують більше обчислювальної потужності для дивних фігур високих розмірів.

Джерело: Більшість зображень надходять із статті, яку я написав, поєднуючи 2 методи (Гамільтонівський послідовний Монте-Карло). Це поєднання може симулювати будь-яку дистрибуцію, яку ми можемо кинути на неї, навіть у дуже великих розмірах.

— RemiDav
джерело

Приємно і ясно; +1. Не маю уявлення, чому це не має більше результатів!

— арбовірус

Ось стаття для тих , хто цікавиться: remidaviet.com/files/HSMC-paper.pdf

— stackoverflax