Чому задній розподіл у байєсівському виводі часто непереборний?

У мене виникають проблеми з розумінням того, чому байєсівські умовиводи призводять до нерозв'язних проблем. Проблема часто пояснюється так:

Я не розумію, чому це інтеграл слід оцінювати в першу чергу: мені здається, що результат інтеграла - це просто константа нормалізації (як задано набір даних D). Чому не можна просто обчислити задній розподіл як чисельник правої частини, а потім зробити цю константа нормалізації, вимагаючи, щоб інтеграл над заднім розподілом повинен бути 1?

Що я пропускаю?

Спасибі!

bayesian inference

— Арні
джерело

Кому це може стосуватись: це питання прямо на тему, оскільки йдеться про статистику.

— Sycorax каже, що повернеться до Моніки

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

Чи можете ви надати посилання на цей слайд, як я припускаю, що його написав хтось інший?

— Сіань

p (D)

$p(\mathcal{D})$

Ми в даний час проводимо семінар з нормалізує констант , де ви можете знайти цікаві записи для відповіді на це питання.

— Сіань

Відповіді:

Чому не можна просто обчислити задній розподіл як чисельник правої частини, а потім зробити цю константа нормалізації, вимагаючи, щоб інтеграл над заднім розподілом повинен бути 1?

П (θ | D) = \frac{p (D | θ) П (θ)}{П (D)} .

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

$P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} c П (D | θ) П (θ) г θ = 1 \\ \Rightarrow & \int_{θ} c П (D, θ) г θ = 1 \\ \Rightarrow & c П (D) = 1 \\ \Rightarrow & c = \frac{1}{П (D)} . \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

$P(D)$

— Грінпаркер
джерело

θ

$\theta$

У мене було те саме питання. Цей чудовий пост пояснює це дуже добре.

Коротко. Це нерозв'язно, оскільки знаменник повинен оцінювати ймовірність ВСІХ можливих значень 𝜃; у більшості цікавих випадків ВСЕ - це велика кількість. Тоді як чисельник призначений для однієї реалізації 𝜃.

Див. Рівняння 4-8 в дописі. Скріншот посилання:

— Арравал
джерело