Облік дискретних або бінарних параметрів у байєсівському критерії інформації

BIC штрафується на основі кількості параметрів. Що робити, якщо деякі параметри є певними змінними бінарних індикаторів? Чи вважають це повними параметрами? Але я можу поєднати бінарних параметрів в одну дискретну змінну, яка приймає значення в . Чи слід їх вважати параметрами або одним параметром? $m$ $\{0,1,...,2^m-1\}$ $m$

— highBandWidth
джерело

Частково через цю неточність у "кількості параметрів" у BIC, DIC ( критерій інформації про відхилення ) ввів ефективну кількість параметрів як де і Зверніть увагу, що тоді залежить від даних. (Як обговорювалося там , у DIC також є свої проблеми!)

p_{D} (х) = Е [D (θ) | х] - D (Е [θ | х])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$

D (θ) = - 2 журнал f (х | θ)

$D(\theta)=-2\log f(x|\theta)$

DIC (х) = p_{D} (х) + Е [D (θ) | х]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$

p_{D} (x)

$p_D(x)$

— Сіань
джерело

Тож я трохи розгублений. Я думав, що BIC - це наближення , яке можна обчислити з MCMC моделювання. Чому тоді ми будемо обчислювати DIC?

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$

— highBandWidth

Так, BIC - це наближення граничної ймовірності. Однак це лише наближення, яке сходиться до "істини", коли розмір вибірки зростає до нескінченності. Тому він не є безпосередньо байєсівським (не використовує попереднє, з одного боку!) І зовсім не пов'язаний з MCMC (де наближення має тип Монте-Карло: якщо я збільшую кількість імітацій, наближення покращується). DIC вважається багатьма байєсівськими (у тому числі Б. Карлін та Д. Шпігельхатлер)

— Сіань

Я здогадуюсь, моє запитання було: чи DIC є наближенням граничної моделі ймовірності? Напевно, я повинен прочитати про це сам, але оскільки ми обговорювали це, я подумав, що пояснення цього зробить відповідь більш повною. Дякую!

— highBandWidth