Імовірність проти умовного розподілу для байєсівського аналізу

Ми можемо записати теорему Байєса як

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

де - задній, - умовний розподіл, а - попередній. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

або

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

де - задній, - функція ймовірності, а - пріоритетна. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

Моє запитання

Чому баєсівський аналіз робиться за допомогою функції ймовірності, а не умовного розподілу?
Чи можете ви сказати словами, яка різниця між вірогідністю та умовним розподілом? Я знаю, що ймовірність - це не розподіл ймовірностей, а . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— кзоо
джерело

Різниці немає! Ймовірність умовного розподілу , ну пропорційна, що є всім важливим.

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

Попередній параметр має щільність . якщо реалізація має значення , а являє собою спостережуване значення випадкової величини , то значення функції правдоподібності є саме , значення умовної щільності з . Різниця полягає в тому, що для всіх реалізацій . Однак як функція

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (І фіксованою ), є НЕ щільність:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— Діліп Sarwate

Відповіді:

Припустимо, у вас є випадкові величини (значення яких будуть спостерігатися у вашому експерименті), які умовно є незалежними, враховуючи, що , з умовною щільністю , для . Це ваша (постульована) статистична (умовна) модель, і умовна щільність виражає для кожного можливого значення (випадкового) параметра , вашу невизначеність щодо значень , перш ніж мати доступ до будь-якого реальні дані. За допомогою умовних густин можна, наприклад, обчислити умовні ймовірності на зразок $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ для кожного .

θ

$\theta$

Після того, як ви отримаєте доступ до фактичної вибірки значень (реалізацій) даних , що спостерігалися в одному циклі вашого експерименту, ситуація змінюється: більше немає визначеності щодо спостережуваних . Припустимо, що випадковий приймає значення в деякому просторі параметрів . Тепер необхідно визначити, для тих відомих (фіксованих) значень є функція по Зауважте, що , відома як "функція ймовірності", є функцією $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . У цій ситуації "після того, як у вас є дані", ймовірність містить для конкретної умовної моделі, яку ми розглядаємо, всю інформацію про параметр міститься в цьому конкретному зразку . Насправді трапляється, що є достатньою статистикою для .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Відповідаючи на ваше запитання, щоб зрозуміти відмінності між поняттями умовної щільності та ймовірності, пам’ятайте про їх математичні визначення (які чітко різні: вони різні математичні об’єкти, з різними властивостями), а також пам’ятайте, що умовна щільність є «попередньою -пробний "об'єкт / концепція, тоді як ймовірність є" після-зразком ". Я сподіваюсь, що все це також допоможе вам відповісти, чому байєсівський висновок (використовуючи спосіб викладати його, який я не вважаю ідеальним) робиться "за допомогою функції ймовірності, а не умовного розподілу": мета байєсівського висновку полягає в для обчислення заднього розподілу і для цього ми обумовлюємо спостережувані (відомі) дані.

— Дзен
джерело

Я думаю, що Дзен правильно, коли каже, що ймовірність та умовна ймовірність різні. У ймовірності функція θ не є випадковою величиною, тому вона відрізняється від умовної ймовірності.

— Мартін

Пропорційність використовується для спрощення аналізу

Байєсівський аналіз, як правило, проводиться за допомогою ще більш простого твердження теореми Байєса, де ми працюємо лише з точки зору пропорційності щодо параметра, що цікавить. Для стандартної моделі IID з щільністю вибірки ми можемо виразити це так: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

Це твердження байєсівського оновлення працює з точки зору пропорційності відносно параметра . Він використовує два спрощення пропорційності: одне у використанні функції ймовірності (пропорційне щільності вибірки) і одне в задньому (пропорційне добутку ймовірності та попереднього). Оскільки задній є функцією густини (у безперервному випадку), то правило нормування встановлює мультиплікативну константу, необхідну для отримання дійсної щільності (тобто для того, щоб вона інтегрувалася в одну). $\theta$

Цей метод використання пропорційності має перевагу в тому, що дозволяє ігнорувати будь-які мультиплікативні елементи функцій, які не залежать від параметра . Це, як правило, спрощує проблему, дозволяючи нам зрушити непотрібні частини математики та отримати більш прості заяви про механізм оновлення. Це не є математичною вимогою (оскільки правило Байєса працює і в непропорційній формі), але це робить простішими для наших крихітних мізків тварини. $\theta$

Приклад прикладу: Розглянемо модель IID із спостережуваними даними . Для полегшення нашого аналізу ми визначаємо статистику та , які є першими двома зразковими моментами. Для цієї моделі у нас є щільність вибірки: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

Тепер ми можемо працювати безпосередньо з цією щільністю вибірки, якщо хочемо. Але зауважте, що перші два доданки в цій щільності є мультиплікативними константами, які не залежать від . Довольно слідкувати за цими термінами, тому давайте просто позбудемось їх, щоб ми мали функцію ймовірності: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

Це трохи спрощує речі, оскільки нам не потрібно слідкувати за додатковим терміном. Тепер ми можемо застосувати правило Байєса, використовуючи його повну версію рівняння, включаючи інтегральний знаменник. Але знову ж таки, це вимагає від нас відслідковувати ще одну дратівливу мультиплікативну константу, яка не залежить від (більш дратівлива, тому що ми повинні вирішити інтеграл, щоб її отримати). Тож давайте просто застосуємо правило Байєса в його пропорційній формі. Використовуючи сполучений попередній , з деяким відомим параметром точності , ми отримуємо такий результат ( заповнивши квадрат ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Отже, з цієї роботи ми бачимо, що задній розподіл пропорційний нормальній щільності. Оскільки заднє повинно бути густиною, це означає, що заднє - це нормальна щільність:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

Отже, ми бачимо, що післяопераційний параметр звичайно розподіляється із середнім заднім значенням та дисперсією, заданими: $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Тепер отриманий нами задній розподіл має постійну інтеграцію з передньої частини (що ми можемо легко знайти, шукаючи форму нормального розподілу ). Але зауважте, що нам не довелося турбуватися про цю мультиплікативну константу - всі наші робочі видаляли (або вводили) мультиплікативні константи, коли це спрощувало математику. Цей же результат можна отримати, відслідковуючи мультиплікативні константи, але це набагато швидше.

— Бен - Відновлення Моніки
джерело

Я думаю, що відповідь Дзен дійсно говорить вам про те, як концептуально функціональна ймовірність та спільна щільність значень випадкових величин різняться. Математично як функція і x s, і θ вони однакові, і в цьому сенсі ймовірність можна розглядати як щільність ймовірності. Різниця, яку ви вказуєте у формулі заднього розподілу Байєса, є лише нотаційною різницею. Але тонкість різниці добре пояснюється у відповіді Дзен. $_i$

Це питання виникло і в інших питаннях, обговорених на цьому веб-сайті, щодо функцій вірогідності. Також інші коментарі kjetil і Dilip, здається, підтримують те, що я говорю.

— Майкл Р. Черник
джерело