Чи можу я змінити розповсюдження пропозицій у MH MCMC з випадковим ходом, не впливаючи на марковіанство?


14

Випадкова прогулянка Метрополіс-Хасітінгс із симетричною пропозицією

q(х|у)=г(|у-х|) має властивість, що ймовірність прийняття

П(аccеpт у)=хв{1,f(у)/f(х)}

не залежить від пропозиції г() .

Чи означає це, що я можу змінити як функцію попередньої продуктивності ланцюга, не впливаючи на маркованість ланцюга?г()

Особливий інтерес для мене викликає коригування масштабування Нормальної пропозиції як функції прийняття.

Буде також дуже вдячний, якщо хтось може вказати на алгоритми адаптації, що застосовуються на практиці для такого типу проблем.

Велике дякую.

[редагувати: Починаючи з посилань, наданих robertsy та wok, я знайшов такі посилання на адаптивні алгоритми MH:

Андріє, Крістоф та Ерік Мулайн. 2006.
Про властивості Ergodicity деяких адаптивних алгоритмів MCMC. Аннали прикладної ймовірності 16, вип. 3: 1462-1505. http://www.jstor.org/stable/25442804 .

Андріє, Крістоф та Йоганнес Томс.
2008. Підручник з адаптивного MCMC. Статистика та обчислювальна техніка 18, вип. 4 (12): 343-373. doi: 10.1007 / s11222-008-9110-y. http://www.springerlink.com/content/979087678366r78v/ .

Atchadé, Y., G. Fort, E. Moulines, P. Priouret. 2009.
Адаптивний ланцюг Маркова Монте-Карло: теорія та методи. Переддрук.

Атчаде, Ів. 2010.
Обмеження теорем для деяких адаптивних алгоритмів MCMC з субгеометричними ядрами. Бернуллі 16, вип. 1 (лютий): 116-154. doi: 10.3150 / 09-BEJ199. http://projecteuclid.org/DPubS?verb=Display&version=1.0&service=UI&handle=euclid.bj/1265984706&page=record .

Cappé, O., S. J Godsill та E. Moulines. 2007.
Огляд існуючих методів та останніх досягнень у послідовній Монте-Карло. Праці IEEE 95, вип. 5: 899-924.

Джордані, Паоло. 2010.
Адаптивна незалежна метрополія-Гастінгс шляхом швидкої оцінки сумішей нормалей. Журнал обчислювальної та графічної статистики 19, вип. 2 (6): 243-259. doi: 10.1198 / jcgs.2009.07174. http://pubs.amstat.org/doi/abs/10.1198/jcgs.2009.07174 .

Латушинський, Кшиштоф, Гарет О Робертс і Джеффрі Розенталь. 2011.
Адаптивні пробовідбірники Гіббса та пов'язані з ними методи MCMC. 1101.5838 (30 січня). http://arxiv.org/abs/1101.5838 .

Пасаріка, К. та Гельман А. 2009.
Адаптивно масштабування алгоритму Metropolis, використовуючи очікувану стрибкову відстань у квадраті. Statistica Sinica.

Робертс, Гарет О. 2009.
Приклади адаптивного MCMC. Журнал обчислювальної та графічної статистики 18, вип. 2 (6): 349-367. doi: 10.1198 / jcgs.2009.06134. http://pubs.amstat.org/doi/abs/10.1198/jcgs.2009.06134 .

]


Чому ви не маєте +100 бонусу від свого запису SO?

@mbq, напевно, тому, що я створив цей обліковий запис давно, коли мені також було 0 в ОС ... шкода, 100 на CW виглядає великою справою, тому що ти повинен бути справжнім хлопцем, щоб відповісти на речі тут :)
VitoshKa

Ви можете отримати бонус, очистивши всі асоціації та знову пов’язавши облікові записи.
Вок

Відповіді:


7

Я думаю, що цей документ від Heikki Haario та ін. дасть вам потрібну відповідь. На маркованість ланцюга впливає адаптація щільності пропозиції, оскільки тоді нове запропоноване значення залежить не тільки від попереднього, але і від усього ланцюга. Але здається, що послідовність має ще хороші властивості, якщо дотримуватися великої обережності.


спасибі Робертс, за гарну інформацію. насправді процес не є марковим. Навіть якщо ймовірність прийняття не залежить від минулого, ядро ​​переходу процесу є функцією щільності пропозиції і, отже, залежить від усього ланцюга.
VitoshKa

3

Ви можете покращити рівень прийняття, використовуючи відкладене відхилення, як описано в Tierney, Mira (1999) . Він заснований на другій функції пропозиції та на ймовірності другого прийняття , що гарантує, що ланцюг Маркова все ще є оборотним з тим же інваріантним розподілом: ви повинні бути обережними, оскільки " легко створити адаптивні методи, які, здається, можуть працювати, але насправді вибірка від неправильного розподілу ".


3

Підходи, запропоновані користувачами wok та robertsy, охоплюють найбільш часто цитовані приклади того, що ви шукаєте, що я знаю. Просто для розширення цих відповідей Хааріо та Міра написали документ у 2006 році, який поєднує два підходи, підхід, який вони називають DRAM (адаптований відхилення відхилення Metropolis) .

Андрієу добре розглядає різні адаптаційні підходи MCMC (pdf), які охоплюють Haario 2001, але також обговорюють різні варіанти, запропоновані в останні роки.


1

Це трохи безсоромний штекер моєї публікації, але ми саме це робимо в цій роботі ( арксив ). Серед іншого ми пропонуємо адаптувати дисперсію експоненціального розподілу для покращення прийняття (крок S3.2 в алгоритмі в статті).

f1

Ми не використовуємо інформацію про коефіцієнт приймання, але отримуємо акцепт незалежно від кількості, яка нас цікавить (еквівалентна енергії спінової системи, справа внизу рис. 4).

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.