Коли я повинен турбуватися про парадокс Джеффріс-Ліндлі у виборі моделі Байесія?

Я розглядаю великий (але кінцевий) простір моделей різної складності, які я досліджую за допомогою RJMCMC . Попередній вектор параметрів для кожної моделі є досить інформативним.

У яких випадках (якщо такі є) я повинен турбуватися через парадокс Джеффріс-Ліндлі, який надає перевагу більш простим моделям, коли одна з більш складних моделей буде більш підходящою?
Чи є прості приклади, які висвітлюють проблеми парадокса у виборі байесівської моделі?

Я прочитав кілька статей, а саме блог Сіані в і блог Ендрю Гельмана , але я до сих пір не зовсім розумію проблему.

— Джефф
джерело

Я думаю, що запитань занадто багато, і вони занадто чіткі, щоб тут ефективно відповісти.

— jaradniemi

Дякую за відгук, @jaradniemi, я зняв питання "Чи повинен процедура RJMCMC, яка ефективно повертає ймовірності задньої моделі, надавати перевагу тим же моделям, що і DIC?"

— Джефф

Вибачте за те, що ви неясні в своєму блозі !

Примітка. У цій іншій відповіді на перехресне підтвердження я визначив деякий досвід щодо вибору моделі Байесія та парадокса Джеффріс-Ліндлі .

Парадокс Джеффрі-Ліндлі пов'язаний з вибором байесівської моделі тим, що гранична ймовірність стає безглуздою, коли є -нескінченна міра (тобто міра з нескінченною масою), а не міра ймовірності. Причина цієї складності полягає в тому, що нескінченна маса робить і невідмінними для будь-якої позитивної константи . Зокрема, коефіцієнт Байєса не може бути використаний і не повинен використовуватися, коли одна модель наділена попереднім "плоским".

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

Оригінальний парадокс Джеффріс-Ліндлі використовує звичайний розподіл як приклад. При порівнянні моделей і коефіцієнт Байєса дорівнює Добре визначено, коли є правильним попереднім, але якщо ви берете звичайний попередній на і нехай переходить до нескінченності, знаменник переходить до нуля для будь-якого значення відмінного від нуля і будь-якого значення . (Якщо і

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$ пов'язані, але це ускладнюється!) Якщо замість цього ви використовуєте безпосередньо де є обов'язково довільною постійною, коефіцієнт Байєса буде отже, безпосередньо залежить від .

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

B_{12}

$\mathfrak{B}_{12}$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Тепер, якщо ваші пріори є інформативними (а значить, і належними), немає ніяких причин для парадоксу Джеффріс-Ліндлі. При достатній кількості спостережень фактор Байєса буде послідовно вибирати модель, яка генерувала дані. (Або, точніше, модель в колекції моделей, що розглядаються для вибору моделі, найбільш близької до "справжньої" моделі, яка генерувала дані.)

— Сіань
джерело

Велике спасибі за вашу дуже детальну відповідь, Сіане! Ваш блог дуже чіткий (я багато чого навчився з нього) Я просто трохи повільно розумів цю конкретну проблему!

— Джефф

Насправді мій блог працює з дуже різними припущеннями щодо передумови та передумови, тому це, звичайно, незрозуміло часом та багатьом читачам!

— Сіань