Звідки беруться повні умови в вибірці Гіббса?

Алгоритми MCMC, такі як відбір проб Metropolis-Hastings та Gibbs, є способами відбору проб із спільних заднього розподілу.

Я думаю, що я розумію і можу легко реалізувати мегаполіси - ви просто якось вибираєте початкові точки і «прогулюєте простір параметрів» випадковим чином, керуючись задньою щільністю та щільністю пропозицій. Вибірка Гіббса здається дуже схожою, але ефективнішою, оскільки вона оновлює лише один параметр за один раз, а інші тримають постійними, ефективно прогулюючи простір ортогонально.

Для цього вам потрібно повна умовна умова кожного параметра в аналітичному від *. Але звідки беруться ці повні умови? Щоб отримати знаменник, потрібно маргіналізувати суглоб понад . Мабуть, це багато аналітичної роботи, якщо є багато параметрів, і це не може бути простежено, якщо спільний розподіл не дуже «приємний». Я розумію, що якщо ви використовуєте сумісність у всій моделі, повні умови можуть бути простими, але для більш загальних ситуацій повинен бути кращий спосіб.

P (x_{1} | x_{2}, \dots, х_{н}) = \frac{П (х_{1}, \dots, х_{н})}{П (х_{2}, \dots, х_{н})}

$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$

x_{1}

$x_1$

Усі приклади вибірки Гіббса, які я бачив в Інтернеті, використовують приклади іграшок (наприклад, вибірки з багатоваріантної норми, де умови є просто нормальними), і, схоже, ухиляються від цього питання.

* Або вам взагалі потрібні повні умови в аналітичній формі? Як це роблять такі програми, як winBUGS?

bayesian mcmc gibbs

— цеспіноза
джерело

Вибірка Гіббса, як правило, менш ефективна, ніж Метрополіс-Гастінгс, оскільки вона має один вимір одночасно ...

— Сіань

Гіббс вибірки є більш ефективним на кожному окремому етапі, але , можливо , буде потрібно жахливо багато більше кроків для зближення - і в кінцевому підсумку менш ефективним для гарного загального результату.

— Lutz Prechelt

Відповіді:

Так, ви маєте рацію, умовний розподіл потрібно знайти аналітично, але я думаю, що є чимало прикладів, коли повний умовний розподіл легко знайти і має набагато простішу форму, ніж спільний розподіл.

Інтуїція цього полягає в тому, як слід, в більшості «реалістичними» спільних розподілу , більшість з «s , як правило , умовно незалежні від більшості інших випадкових величин. Тобто деякі змінні мають локальну взаємодію, скажімо, залежить від і , але не взаємодіють з усім, отже, умовні розподіли повинні значно спрощуватись як $P(X_1,\dots,X_n)$ $X_i$ $X_i$ $X_{i-1}$ $X_{i+1}$ $Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

— габго
джерело

Щоб додати цю відповідь, вам не потрібно маргіналізувати інші змінні, як це було зазначено в запитанні. Все, що вам потрібно зробити, це "переорганізувати"

таким чином, щоб ви розпізнали результат як відомий pdf і ви закінчили. Поки ви зможете переорганізувати вищезазначене, що все вище (тобто всі інші константи, інтеграл у знаменнику тощо) буде дорівнювати відповідній константі для інтеграції pdf до 1.

P r (X_{i} | X_{i - 1}, X_{i + 1})

$Pr(X_i|X_{i-1},X_{i+1})$

Їх не потрібно знаходити аналітично. Наприклад, всі повні умови пропорційні спільному розподілу. І це все, що потрібно для Метрополіс-Гастінгса.

— Трістан

@ Тристан звичайно. Я, однак, говорю про вибірку гібсів.

— габго

Їх не потрібно шукати аналітично для відбору Гіббса. Вам просто потрібно вміти якось вибирати з умовного; чи можна записати, як це зробити в досить аналітичному твердженні, не має значення.

— гість

Насправді, немає необхідності в повному аналітичному аналітичному режимі: все, що потрібно для здійснення вибірки Гіббса, - це можливість імітувати з повних умов.

— Сіань

Я думаю, ви пропустили головну перевагу таких алгоритмів, як "Метрополіс-Гастінгс". Для вибірки Гіббса вам потрібно буде зробити вибірку з повних умов. Ви праві, що це рідко зробити. Основна перевага алгоритмів Metropolis-Hastings полягає в тому, що ви все одно можете вибирати один параметр за один раз, але вам потрібно знати лише всі умови, що відповідають розміру. Це тому, що знаменники скасовують функцію критеріїв прийняття

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

Такі програми, як WinBugs / Jags, як правило, роблять Metropolis-Hastings або вибірки зрізів фрагментів, для яких потрібні лише умови до пропорційності. Вони легко доступні у DAG. Враховуючи сумісність, вони також іноді роблять прямі кроки Гіббса або фантазійні блокові упори.

— Трістан
джерело

Гей, дякую! Я думаю, що питання про те, що не потрібно нормувати константу для мегаполісів, - це саме та інформація, яка мені потрібна, щоб зрозуміти все це. Я думаю, оскільки GS в WinBUGS означає вибірку гіббс, я був під враженням, що gibbs витіснив MH і що програмне забезпечення використовує виключно gibbs.

— cespinoza

Термін вибірки Гіббса часто використовується для того, щоб вибирати один параметр за один раз, навіть якщо ви не використовуєте оригінальну ідею вибірки безпосередньо з повних умов. Всі програмні засоби відбирають послідовно окремі параметри або блоки параметрів, але фактичний тип кроку сильно змінюється залежно від того, що найкраще працює.

— Трістан

Майже щоразу, коли ви можете реалізувати Gibbs, ви також можете реалізувати альтернативи Metropolis-Hastings. Більш висока ефективність виходить від змішування обох підходів.

— Сіань

Це має бути прийнятою відповіддю.

— NoBackingDown