Згідно з висновком Байєса, чому деякі терміни випадають із заднього передбачення?

12

У кон'югатному байесівському аналізі Кевіна Мерфі про розподіл Гаусса він пише, що задній прогнозний розподіл є

p (x ∣ D) = \int p (x ∣ θ) p (θ ∣ D) d θ

$p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta$

де - це дані, на які підходить модель, а - невидимі дані. Я не розумію, чому залежність від зникає в першому члені в інтегралі. Використовуючи основні правила ймовірності, я б очікував: $D$ $x$ $D$

\begin{aligned} p (a) & = \int p (a ∣ c) p (c) d c \\ p (a ∣ b) & = \int p (a ∣ c, b) p (c ∣ b) d c \\ ↓ \\ p (x ∣ D) & = \int \overset{⋆}{\overset{⏞}{p (x ∣ θ, D)}} p (θ ∣ D) d θ \end{aligned}

$\begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid \theta, D)}^{\star} p(\theta \mid D) d \theta \end{align}$

Питання: Чому зникає залежність від у терміні ? $D$ $\star$

Для чого це варто, я бачив подібну формулювання (скидання змінних в умовні умови) в інших місцях. Наприклад, у « Байєсівському виявленні змін змін Раяна Адама» в Інтернеті він пише задній прогноз як

p (x_{t + 1} ∣ r_{t}) = \int p (x_{t + 1} ∣ θ) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid r_t) = \int p(x_{t+1} \mid \theta) p(\theta \mid r_{t}, x_{t}) d \theta$

де знову, оскільки , я б очікував $D = \{x_t, r_t\}$

p (x_{t + 1} ∣ x_{t}, r_{t}) = \int p (x_{t + 1} ∣ θ, x_{t}, r_{t}) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid x_t, r_t) = \int p(x_{t+1} \mid \theta, x_t, r_t) p(\theta \mid r_{t}, x_{t}) d \theta$

— gwg
джерело

13

Це ґрунтується на припущенні, що умовно не залежить від , заданого . Це є розумним припущенням у багатьох випадках, оскільки все це говорить про те, що дані тренінгу та тестування ( і відповідно) генеруються незалежно від одного і того ж набору невідомих параметрів . Зважаючи на це припущення про незалежність, , і тому випадає з більш загальної форми, яку ви очікували. $x$ $D$ $\theta$ $D$ $x$ $\theta$ $p(x|\theta,D)=p(x|\theta)$ $D$

У вашому другому прикладі здається, що подібне припущення про незалежність застосовується, але зараз (явно) через час. Ці припущення можуть бути чітко викладені в іншому місці тексту, або вони можуть бути явно зрозумілими для всіх, хто достатньо знайомий з контекстом проблеми (хоча це не обов'язково означає, що у ваших конкретних прикладах - з якими я не знайомий - автори мали рацію припустити це знайомство).

— Рубен ван Берген
джерело

9

Це тому, що вважається незалежним від заданого . Іншими словами, всі дані вважаються ідентичними від звичайного розподілу з параметрами . Як тільки враховується з використанням інформації від , більше інформації, яку дає нам про нову точку даних . Тому . $x$ $D$ $\theta$ $\theta$ $\theta$ $D$ $D$ $x$ $p(x|\theta, D) = p(x|\theta)$

— JP JP Trawinski
джерело