Які алгоритми / методи MCMC використовуються для дискретних параметрів?

Я знаю неабияку кількість пристосування безперервних параметрів, зокрема методів на основі градієнта, але не дуже про пристосування дискретних параметрів.

Які зазвичай використовуються алгоритми / методи MCMC для встановлення дискретних параметрів? Чи є алгоритми, які є досить загальними і досить потужними? Чи є алгоритми, які добре справляються з прокляттям розмірності? Наприклад, я б сказав, що Гамільтоніан MCMC є загальним, потужним і добре масштабує.

Вибірка з довільного дискретного розподілу видається складнішою, ніж вибірка з безперервного розподілу, але мені цікаво, що таке сучасний стан.

Редагувати : JMS попросив мене розробитись.

Я не маю на увазі конкретних застосувань, але ось декілька моделей, які я собі уявляю:

• Вибір моделі між декількома моделями безперервної регресії. У вас є окремий параметр "моделі"
• Безперервна модель, де кожне спостереження має можливість бути «зовнішнім» та виведене із значно більш розсіяного розподілу. Я гадаю, це модель суміші.

Я б очікував, що багато моделей включають як безперервні, так і дискретні параметри.

Тож проста відповідь - так: Метрополіс-Гастінгс та його особливий випадок вибірки Гіббса :) Загальний та потужний; незалежно від того, чи є це масштаб, залежить від проблеми.

Я не впевнений, чому ви вважаєте, що вибірку довільного дискретного розподілу важче, ніж довільний безперервний розподіл. Якщо ви можете обчислити дискретний розподіл, а вибірковий простір не величезний, то це набагато, набагато простіше (якщо, можливо, безперервний розподіл є стандартним). Обчисліть ймовірність для кожної категорії, а потім нормалізуйте, щоб отримати ймовірності та використати вибіркове обернене перетворення (наклавши довільний порядок на ) .$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

Чи маєте ви на увазі конкретну модель? Існують всілякі підходи MCMC до пристосування моделей сумішей, наприклад, коли приховані призначення компонентів - це дискретні параметри. Вони варіюються від дуже простих (Гіббса) до досить складних.

Наскільки великий простір параметрів? Він потенційно величезний (наприклад, у випадку моделі суміші, це N за кількістю компонентів суміші)? Можливо, вам не знадобиться щось більше, ніж пробовідбірник Гіббса, оскільки кон'югація вже не є проблемою (ви можете отримати нормалізуючу константу безпосередньо, щоб ви могли обчислити всі умови). Насправді мережевий Гіббс раніше користувався популярністю в цих випадках, коли безперервний попередній дискрітизується для полегшення обчислення.

Я не думаю, що існує особливий "найкращий" для всіх проблем, що мають дискретний простір параметрів більше, ніж є для безперервного випадку. Але якщо ви розкажете більше про моделі, які вас цікавлять, можливо, ми можемо дати деякі рекомендації.

Редагувати: Гаразд, я можу дати трохи більше інформації про свої приклади.

$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$$2^p$$1:2^p$

$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS вбудовує весь простір моделі в одну велику модель. Часто це легко здійснити, але працює погано. Реверсивний стрибок MCMC - це різного роду підхід, який дозволяє розмірності простору параметрів чітко змінюватися; див. [3] огляд та деякі практичні примітки. Більш детальні примітки щодо впровадження різних моделей ви можете знайти в літературі, я впевнений.

$p=1000$

Інший підхід, що набирає все більшої популярності, полягає у використанні абсолютно безперервних усадочних пріорів, які імітують усереднені моделі. Як правило, вони формулюються як суміші нормалів. Байєсівське ласо - один із прикладів, що є особливим випадком приорів нормальної гами і обмежувальним випадком нормальних-експоненціальних гамма-пріорів. Інші варіанти включають підкову та загальний клас нормальних розподілів із перевернутими бета-пріорами за їхньою дисперсією. Більше про це я б запропонував почати з [6] і повернутися до посилань (занадто багато для мене, щоб тут повторювати :))

Пізніше я додам більше про зовнішні моделі, якщо отримаю можливість; класичне посилання - [7]. Вони дуже схожі за духом на пріоритетні усадки. Зазвичай їх досить просто зробити з відбором Гіббса.

Можливо, не так практично, як ви сподівалися; Зокрема, вибір моделі є важкою проблемою, і чим складніша модель, тим гірше вона стає. Блокування оновлень, де це можливо, є єдиною частиною загальних рекомендацій. Відбираючи вибірки із суміші розподілів, у вас часто виникає проблема, що показники членства та параметри компонентів сильно корелюються. Я також не торкався питань переключення міток (або відсутність переключення міток); там є досить багато літератури, але це трохи поза моєю рубкою.

У будь-якому випадку, я думаю, що корисно почати з деяких посилань тут, щоб відчути різні способи, як інші підходять до подібних проблем.

[1] Мерліза Клайд та Е.І. Джордж. Модель невизначеності Статистична наука 19 (2004): 81--94. http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Реверсивний стрибок Green & Hastie MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Моделі Майка Вест Атлье і попередні розподіли в лінійній регресії Баєса (1984) JRSS-B