Розуміння бета-кон'югату попереднього в байєсівському висновку про частоту

11

Далі - уривок із вступу Болстада до байєсівської статистики .

Для всіх вас, фахівців, це може бути тривіально, але я не розумію, як автор робить висновок, що нам не потрібно робити ніякої інтеграції, щоб обчислити задню ймовірність деякого значення . Я розумію, другий вираз - пропорційність і звідки походять усі терміни ( вірогідність х Попередня) $\pi$ . Крім того, я розумію, нам не потрібно турбуватися про знаменник, оскільки лише чисельник прямо пропорційний. Але переходимо до третього рівняння , чи не забуваємо ми про знаменник правила Байєса? Куди воно пішло? І значення, обчислене функціями Gamma, чи не є постійною? Чи не відміняються константи в теоремі Байєса?

— Дженна Майз
джерело

5

Існує лише одна можлива константа, а саме та, яка робить функцію густиною ймовірності.

— Сіань

10

Річ у тім, що ми знаємо, до чого задні пропорційні, і так трапляється, що нам не потрібно робити інтеграцію, щоб отримати (постійний) знаменник, оскільки ми визнаємо, що розподіл з щільністю ймовірності функціонує пропорційно (такий як задній) - це бета-розподіл. Оскільки константа нормалізації для такого бета-pdf дорівнює $x^{\alpha-1} \times (1-x)^{\beta-1}$ , отримуємо задній pdf без інтеграції. І так, нормалізуюча константа в теоремі Байєса є постійною (з урахуванням спостережуваних даних та попереднього припущення) так само, як нормалізуюча константа задньої густини. $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Бьорн
джерело

8

Установка

У вас є ця модель: Щільності, для яких

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

і, зокрема, зауважте, що

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Неявна версія

Тепер. Задній розподіл пропорційний попередньому помноженому на ймовірність . Ми можемо ігнорувати константи (тобто речі, які не є ), поступаючись: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Це має "форму" бета-розподілу з параметрами та , і ми знаємо, якою має бути відповідна нормалізуюча константа для бета-розподілу з цими параметрами: . Або, з точки зору гамма-функцій, Іншими словами, ми можемо зробити трохи краще, ніж пропорційне відношення без зайвих ніг, і перейти прямо до рівності: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Отже, можна використовувати знання про структуру бета-розподілу, щоб легко відновити вираз заднього, а не переживати якусь безладну інтеграцію тощо.

Це щось на зразок повного заднього, неявно скасовуючи нормалізуючі константи спільного розподілу, що може заплутати.

Явна версія

Ви також можете розмелювати речі процедурно, що може бути зрозумілішим.

Це насправді не все так багато довше. Зауважте, що ми можемо виразити спільний розподіл як і граничний розподіл як

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Таким чином, ми можемо виразити заднє за допомогою теореми Байєса через - це те саме, що ми мали раніше.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
джерело

7

Загальні зауваження

Щоб зробити відповідь, надану @ Björn, трохи більш чіткою і в той же час більш загальною, ми повинні пам'ятати, що ми прибули до теореми Байєса від

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Байєс Тамем)

де представляє спостережувані дані та наш невідомий параметр, про який ми хотіли б зробити імовірнісні умовиводи - у випадку питання параметр невідома частота . Не будемо зараз хвилюватися, чи говоримо ми про векторів чи скалярів, щоб це було просто. $X$ $\theta$ $\pi$

Маргіналізація в безперервному випадку призводить до

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

де спільний розподіл дорівнює як ми бачили вище. Це константа, оскільки після "інтеграції" параметра він залежить лише від постійних умов . $p(X,\theta)$ $likelihood \times prior$

Тому ми можемо переформулювати теорему Байєса як

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ з $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

і , таким чином , приходимо до звичайної формі пропорційності з байєсівської теореми .

Застосування до проблеми руки

Тепер ми готові просто підключити те, що ми знаємо, з $likelihood \times prior$ у випадку питання є такою формою

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

де , і де $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$ збирає постійні доданки з вірогідності бінома і бета-версії до.

Тепер ми можемо використати відповідь, надану @ Björn, щоб виявити, що це інтегрується в функцію Beta раз набір постійних доданків $B(a',b')$ $A$ так що

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Зауважте, що будь-який постійний термін у спільному розповсюдженні завжди скасується, оскільки він з’явиться одночасно в номінаторі та в знаменнику (див. Відповідь, надану @jtobin), тому нам насправді не потрібно турбуватися.

Таким чином, ми визнаємо, що наш задній розподіл насправді є бета-розподілом, де ми можемо просто оновити параметри попередника і щоб прийти до заднього. Ось чому бета-розподілений попередній розділ називається попереднім кон'югатом . $a' = a+y$ $b' = b+n-y$

— gwr
джерело

Це міркування схоже на неявну версію jtobin. Ми тільки в частині часу правдоподібності попереднього, що містить параметр і оплачені все інше в постійній нормалізації. Таким чином, ми розглядаємо інтеграцію лише як остаточний крок, який є законним, оскільки константи скасовують, як jtobin показав у своїй явній версії.

— gwr