(взаємодіючи) MCMC для мультимодальної задньої

Я намагаюся взяти вибірку з задньої частини, яка має багато режимів, особливо далеких один від одного, використовуючи MCMC. Виявляється, що в більшості випадків лише один із цих режимів містить 95% к.с., які я шукаю. Я намагався реалізувати рішення на основі загартованого моделювання, але це не дає задовільних результатів, оскільки на практиці перехід від одного «діапазону захоплення» до іншого - це дорого.

Як наслідок, мені здається, що більш ефективним рішенням було б запускати безліч простих МСМС з різних вихідних точок і занурюватися в домінуюче рішення, змушуючи MCMC взаємодіяти один з одним. Чи знаєте ви, чи є якийсь належний спосіб втілити таку ідею?

Примітка. Я виявив, що папір http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf (розподілений марківський ланцюг Монте-Карло, Лоуренс Мюррей) виглядає близько до того, що я шукаю, але я дійсно не розумію дизайн функції .$R_i$

[EDIT]: відсутність відповідей, схоже, свідчить про відсутність очевидного рішення моєї початкової проблеми (змушування декількох MCMC вибірки з одного і того ж цільового розподілу з різних вихідних точок взаємодіють один з одним). Це правда ? чому це так складно? Дякую

Я б рекомендував шукати кращого методу чи принаймні методу з більш поглибленим описом, оскільки "Розподілений ланцюжок Маркова Монте-Карло" з паперу, який ви переглядаєте, не видається чітко зазначеним. Переваги та недоліки недостатньо вивчені. Існує метод, який з'явився в Арксиві зовсім недавно під назвою " Черв'як Гамільтоніан Монте-Карло ", я рекомендував би перевірити його.

Повертаючись до документа, на який ви посилалися, віддалена пропозиція дуже невиразно описується. У частині заявки вона описується як "максимальна ймовірність Гаусса над попередніми t / 2 зразками". Можливо, це означає, що ви середнє значення останніх t / 2 значень ланцюга ? Трохи важко здогадатися з поганим описом, наведеним у посиланні.$R_{i}(\theta_{i})$$i^{th}$

[ОНОВЛЕННЯ:] Взаємодія між декількома ланцюгами та застосування цієї ідеї для вибірки з заднього розподілу можна знайти паралельно методами MCMC, наприклад тут . Однак запуск декількох ланцюгів і змушення їх взаємодіяти можуть не підходити для багатомодальної задньої: наприклад, якщо є дуже виражена область, де сконцентрована більша частина заднього розподілу, взаємодія ланцюгів може навіть поклонятися речі, дотримуючись цього конкретного регіон та не досліджуючи інші, менш виражені, регіони / режими. Тому я настійно рекомендую шукати MCMC, спеціально розроблений для мультимодальних проблем. І якщо ви хочете створити інший / новий метод, то після того, як ви дізнаєтесь, що доступно на "ринку", ви можете створити більш ефективний метод.

Спробуйте спробувати multinest: https://arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest Це байєсівський механізм виводу, який надасть вам зразки параметрів для багатомодального розподілу.

Посилання github містить мультиресурсний вихідний код, який ви компілюєте та встановлюєте згідно інструкцій. він також має обгортку python, яку простіше у використанні. У прикладних кодах є попередній розділ, який обмежує ваші параметри, і розділ ймовірності, який містить вашу ймовірність. файл налаштувань містить усі ваші налаштування, а ланцюжок папок виводить на багаторівневу передачу після установки. це дасть вам зразки ваших параметрів

Це видається складною та постійною проблемою в обчислювальній статистиці. Однак є кілька менш сучасних методів, які повинні працювати нормально.

Скажіть, ви вже знайшли кілька чітких режимів заднього і ви раді, що це найважливіші режими, і якщо заднє навколо цих режимів є досить нормальним. Тоді ви можете обчислити гессіан у цих режимах (скажімо, за допомогою оптимуму в R з hessian = T), і ви можете наблизити задній як суміш нормалей (або t розподілів). Див. P318-319 у Gelman et al. (2003) "Байєсівський аналіз даних" для детальної інформації. Тоді ви можете використовувати наближення нормальної / т-суміші як розподілу пропозицій у незалежному пробовідбірнику для отримання зразків з повної задньої частини.

Ще одна ідея, яку я не пробував, - відбір проб відпаленої важливості (Radford Neal, 1998, посилання тут ).

А як спробувати новий метод MCMC для мультимодальності, відштовхувально привабливий алгоритм Metropolis ( http://arxiv.org/abs/1601.05633 )? Цей мультимодальний пробовідбірник працює з одним параметром настройки, як алгоритм Metropolis, і його легко здійснити.