Чи можна довіряти адаптивній MCMC?


20

Я читаю про адаптивну MCMC (див., Наприклад, Розділ 4 Посібника Ланцюга Маркова Монте-Карло , ред. Брукс та ін., 2011; а також Andrieu & Thoms, 2008 ).

Основний результат Робертса та Розенталя (2007) полягає в тому, що якщо схема адаптації задовольняє зникаючу умову адаптації (плюс деякі інші технічні характеристики), адаптивна MCMC є ергодичною за будь-якої схеми. Наприклад, зникаючу адаптацію можна легко отримати, пристосувавши оператор переходу при ітерації н до ймовірності p(н) , при.limнp(н)=0

Цей результат (a posteriori) інтуїтивний, асимптотичний. Оскільки об'єм адаптації має тенденцію до нуля, з часом він не зіпсується з ергодичністю. Мене хвилює те, що відбувається з обмеженим часом.

  • Звідки ми можемо знати, що адаптація не псується з ергодичністю в заданий кінцевий час і що пробовідбірник відбирає вибірку з правильного розподілу? Якщо це взагалі має сенс, скільки слід робити, щоб рання адаптація не змістила ланцюги?

  • Чи довіряють фахівці в цій галузі адаптивним MCMC? Причина, про яку я питаю, полягає в тому, що я бачив багато останніх методів, які намагаються вбудувати адаптацію іншими, більш складними способами, які, як відомо, поважають ергодичність, наприклад, методами регенерації або ансамблю (тобто, законно вибрати перехід оператор, що залежить від стану інших паралельних ланцюгів). Крім того, адаптація виконується лише під час спалювання, наприклад, у Стен , але не під час виконання. Всі ці зусилля підказують мені, що адаптивний MCMC за Робертсом та Розенталем (який був би неймовірно простий у виконанні) не вважається надійним; але, можливо, є й інші причини.

  • Що з конкретними реалізаціями, такими як адаптивний Metropolis-Hastings ( Haario et al., 2001 )?


Список літератури

  • Розенталь, JS (2011). Оптимальний розподіл пропозицій та адаптивний MCMC. Довідник ланцюга Маркова Монте-Карло , 93-112.
  • Andrieu, C., & Thoms, J. (2008) . Навчальний посібник з адаптивного MCMC. Статистика та обчислювальна техніка , 18 (4), 343-373.
  • Roberts, GO, & Rosenthal, JS (2007) . З'єднання та ергодичність адаптивного алгоритму Монте-Карло ланцюга Маркова. Журнал прикладної ймовірності , 458-475.
  • Haario, H., Saksman, E., & Tamminen, J. (2001) . Адаптивний алгоритм Metropolis. Бернуллі , 223-242.

1
+1, але чи є гарантії обмеженого часу навіть для неадаптованого MCMC?
Юхо Коккала

2
@JuhoKokkala: напевно, ні, але здається, що за допомогою адаптивного MCMC додається ще один шар можливих режимів відмови, які менш зрозумілі і важче перевірити, ніж стандартні питання конвергенції (які вже досить складно діагностувати). Принаймні, це моє розуміння того, чому практикуючі (я, для одного) насторожено ставляться до цього.
lacerbi

1
Я думаю, що адаптація під час опіку - найкращий спосіб впоратися з адаптацією. Очевидно, якщо у вас є ділянки задньої частини, які потребують іншої настройки, ніж інші, у вас виникнуть проблеми, але якщо це так, якщо ви працюєте повністю адаптивним MCMC, вам все одно не вдасться адаптуватися через стан, що зникає. .
sega_sai

Відповіді:


2

Звідки ми можемо знати, що адаптація не псується з ергодичністю в заданий кінцевий час і що пробовідбірник відбирає вибірку з правильного розподілу? Якщо це взагалі має сенс, скільки слід робити, щоб рання адаптація не змістила ланцюги?

Ергодичність та упередженість стосуються асимптотичних властивостей ланцюга Маркова, вони нічого не розповідають про поведінку та розподіл ланцюга Маркова at a given finite time . Адаптивність не має нічого спільного з цим питанням, будь-який алгоритм MCMC може створювати симуляції, далекі від цілі at a given finite time.


1
(+1) Дякую за роз’яснення. Так, я розумію, що алгоритми MCMC не мають гарантій at a given finite time. Однак на практиці ми використовуємо їх так, як ніби вони забезпечували хороше / розумне наближення цільового розподілу в заданий кінцевий час, хоча в більшості випадків немає теоретичних гарантій (AFAIK лише декілька випадків математично зрозумілі). Можливо, я повинен сказати "плутати час з перемішуванням "? Це ближче до того, що я мав на увазі. Якщо у вас є пропозиції щодо виправлення мови, будь ласка, повідомте мене.
lacerbi
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.