Надійна оцінка MCMC граничної ймовірності?

9

Я намагаюся обчислити граничну ймовірність статистичної моделі методами Монте-Карло:

f (х) = \int f (х ∣ θ) π (θ) г θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

Ймовірність добре ведеться - гладка, увігнута - але високомірна. Я спробував вибірку важливості, але результати непросто і сильно залежать від пропозиції, яку я використовую. Я коротко роздумував над тим, як зробити Гамільтоніанський Монте-Карло для обчислення задніх зразків, припускаючи рівномірне попереднє над і приймаючи середнє гармонічне значення, поки не побачив цього . Урок, засвоєний, середня гармоніка може мати нескінченну дисперсію. Чи існує альтернативний оцінювач MCMC, який майже такий же простий, але має добре відхилену дисперсію? $\theta$

monte-carlo likelihood marginal

— Девід Пфау
джерело

Ви також можете розглянути базовий відбір монте-карло з попереднього.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— ймовірністьлогічний

1

Це одне можливе рішення. У цьому випадку пам’ятайте, що неналежні пріорі більше не дозволені, а пріори з дуже поширеною підтримкою, ймовірно, ускладнять наближення Монте-Карло.

— Дзен

1

Повна книга з цього питання - Чен, Шао та Ібрагім (2001) . Ви також можете шукати такі ключові слова, як вкладений відбір проб, відбір мостів, захисний відбір проб, фільтри для частинок, Savage-Dickey.

— Сіань

8

Як щодо відібраної важливості вибірки ? Він має набагато меншу дисперсію, ніж вибірки регулярного значення. Я бачив, що це називається "золотим стандартом", і реалізувати це не набагато складніше, ніж вибір "важливого" значення. Це повільніше в тому сенсі, що вам потрібно зробити купу кроків MCMC для кожного зразка, але кожен зразок, як правило, дуже якісний, тому вам не потрібно стільки з них, перш ніж ваші оцінки вщухнуть.

Інша основна альтернатива - вибіркове послідовне значення. Моє відчуття, що це також досить просто реалізувати, але це вимагає деякого ознайомлення з послідовною Монте-Карло (фільтрація частинок AKA), якої мені бракує.

Удачі!

Відредаговано, щоб додати : Схоже, публікація блогу Radford Neal, до якої ви пов’язані, також рекомендує відібрати важливу вибірку важливості. Повідомте нас, чи добре це працює для вас.

— Девід Дж. Харріс
джерело

2

Це може допомогти пролити деяке світло на розрахунок граничного розподілу. Крім того, я рекомендував би використовувати метод через силові плакати, запроваджені Фріелем та Петтіттом . Цей підхід видається досить перспективним, хоча він має деякі обмеження. Або ви могли б наблизити наближення заднього розподілу до Лапласа за нормальним розподілом: якщо гістограма з MCMC виглядає симетричною та нормальною, це може бути досить гарним наближенням.

— Томаш
джерело