Як такі програми, як BUGS / JAGS, автоматично визначають умовні розподіли для вибірки Gibbs?

Здається, що повні умови часто бувають досить важкими, але такі програми, як JAGS та BUGS, отримують їх автоматично. Чи може хтось пояснити, як вони алгоритмічно генерують повні умови для будь-якої довільної специфікації моделі?

— user4733
джерело

Я точно не пам’ятаю, але знаю, що вони часто роблять дуже багато сильних припущень, які часто не відповідають дійсності.

Щодо вашого коментаря, про які припущення ви говорите?

— Стефан Лоран

Відповіді:

Читаючи коментарі до інших відповідей, я вважаю, що правильна відповідь на питання, яке планувалося задати, "взагалі вони не роблять". Як вже було сказано, вони складають DAG і дивляться на ковдру Маркова, а потім (приблизно) роблять наступне.

Якщо ковдра Маркова навколо вузла відповідає повному умовному, який знаходиться в таблиці пошуку (скажімо, тому, що він є сполученим), зразок з використання техніки в таблиці пошуку.
Інше, перевірте, чи ненормалізована повна умовна щільність - що є тривіальним для обчислення - є увігнутою. Якщо це так, використовуйте адаптивну вибірку відхилення.
Інше, зразок, використовуючи Metropolis-in-Gibbs для приблизно вибірки з розподілу. Хоча це не точний зразок, можна показати, що цей алгоритм все ще залишає задній інваріант.

Це не зовсім те, що робиться; наприклад, JAGS використовуватиме деякі інші хитрощі для побудови оновлень блоків. Але це повинно дати уявлення про те, що вони роблять.

— хлопець
джерело

Я так добре не знаю документації про помилки та JAGS, де це повідомляється, BTW?

— altroware

@altroware Я теж не знаю документації, вибачте. Я знаю rjags, є функція, яка перераховує зразки, які він використовує, щось подібне, list_samplersале ви можете перевірити звичайну документацію, Rщоб знайти це.

— хлопець

Я не впевнений, чому ви вважаєте, що повних умов важко отримати. Враховуючи повну щільність попередньої ймовірності як для параметрів, так і для даних, повну умовність, скажімо, задану і дані легко отримати: вона просто пропорційна суглобу до параметрів і даних . Інспекцією легко визначити, які елементи $\pi(\cdot)$ $\theta_i$ $\theta_{-i}$ $\theta_{-i}$ $\theta_i$

Автоматичні пробовідбірники Гіббса проводять цю "перевірку" шляхом розбору специфікації моделі на ймовірнісно орієнтовану ациклічну модель графа . Потім вони обчислюють повні умови, пропорційні повній щільності суглоба $\theta_i$

— Синя
джерело

Звичайно, це концептуально просто, але на практиці мені не очевидно, що вирази закритої форми для повних умовних умов будуть тривіальними для отримання алгоритмічним способом. На кожному шарі в DAG можна проводити всілякі перетворення - мультиплікативні взаємодії, абсолютне значення, журнал, квадратні кореневі перетворення тощо. Також існують несполучені зв’язки.

— user4733

Мені незрозуміло, як автоматично можна алгоритмічно інтегрувати вирази для повних умовних розподілів. Можливо, ці програми уникають необхідності отримувати вирази закритої форми для повних умов, але я намагаюся краще зрозуміти, як це реалізується на практиці.

— user4733

Константа нормалізації не має значення, отже, завжди є вирази закритої форми, оскільки ми лише множимо вирази закритої форми. Немає ? (Я втомився)

— Stéphane Laurent

На практиці мені здається досить важким і BUGS визначити умовний розподіл. Можливо, надання прикладу (нетривіального) процесу DAG допоможе ...

— Глен

@Glen Якщо ви наведіть приклад, який у вас склався, я проведу перевірку.

— Cyan