Чи може хтось пояснити сполучені пріори найпростішими можливими термінами?

Я деякий час намагався зрозуміти ідею кон'югованих пріорів у байєсівській статистиці, але просто не розумію. Чи може хтось пояснити цю ідею найпростішими можливими термінами, можливо, використовуючи "приклад Гаусса" як приклад?

Пріоритет для параметра майже завжди матиме певну функціональну форму (пишеться, як правило, за щільністю). Скажімо, ми обмежимось однією конкретною родиною розподілів, і в цьому випадку вибір попереднього зводиться до вибору параметрів цієї родини.

Наприклад, розглянемо нормальну модель $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . Для простоти візьмемо також $\sigma^2$ як відомо. Ця частина моделі - модель для даних - визначає функцію ймовірності.

Для завершення нашої байєсівської моделі тут нам потрібен попередній для $\mu$ .

Як було сказано вище, зазвичай ми можемо вказати деяку сімейство розподілу для нашого попереднього для $\mu$ і тоді нам залишається лише вибирати параметри цього розподілу (наприклад, часто попередня інформація може бути досить розпливчастою - як, наприклад, де ми хочемо, щоб ймовірність зосередитися - а не дуже конкретної функціональної форми, і у нас може бути достатньо свободи моделювати те, що ми хочемо, вибираючи параметри - скажімо, щоб відповідати попередньому середньому та відхиленню).

Якщо виявиться, що заднє для $\mu$ походить від ж сім'ї, що і попередня, тоді цей пріор називається "кон'югатом".

(Завдяки чому воно виявляється поєднаним, це спосіб, який він поєднується з вірогідністю)

Тож у цьому випадку візьмемо гауссова пріоритет для $\mu$ (скажімо $\mu\sim N(\theta,\tau^2)$ ). Якщо ми це зробимо, ми побачимо, що заднє для $\mu$ також гауссова. Отже, пріоритет Гаусса був кон'югатом до нашої моделі вище.

Це все, що є насправді - якщо задня частина є з тієї ж сім'ї, що і попередня, це споріднене пріор.

У простих випадках ви можете визначити кон'югат попередньо шляхом перевірки ймовірності. Наприклад, розглянемо біноміальну ймовірність; скидаючи константи, це виглядає як бета-щільність у ; а через те, як сили p і ( 1 - p ) поєднуються, він помножиться на бета до того, як також дасть добуток потужностей p і ( 1 - p ) ... так що ми можемо відразу зрозуміти, що ймовірність того, що бета буде кон'югатом до $p$$p$$(1-p)$$p$$(1-p)$$p$ у ймовірності бінома.

У випадку з Гауссом найпростіше побачити, що це станеться, враховуючи щільність журналу та ймовірність журналу; ймовірність log буде квадратичною в а сума двох квадратичних - квадратичною, тому квадратична log-пріоритет + квадратична ймовірність log дає квадратичну задню частину (кожен із коефіцієнтів терміну найвищого порядку буде, звичайно, від'ємним).$\mu$

Якщо ваша модель належить до експоненціального сімейства , тобто якщо щільність розподілу має вигляд

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ по відношенню дозаданої домінуючої міри(Лебесг, підрахунок та tc.), де$t\cdot s$ позначає скалярний добуток над$\mathbb{R}^d$ і $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ - вимірювані функції, сполучені пріори на$\theta$ визначаються щільністю вигляду $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [стосовнодовільно обраної домінуючої міри $\text{d}\nu$ на$\Theta$ ] з $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ і$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

Вибір домінуючої міри визначальний для родини пріорів. Якщо, наприклад, хтось стикається з середньою середньою ймовірністю нормальної величини на $\mu$ як у відповіді Glen_b , вибір вибору міри Лебега $\text{d}\mu$ як домінуючої міри призводить до сполучення нормальних пріорів. Якщо замість цього вибирати $(1+\mu^2)^{-2}\text{d}\mu$ як домінуючу міру, то кон'юговані пріори знаходяться в сімействі розподілів з щільністю

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ щодо цієї домінуючої міри, і тому більше не є Нормальними пріорами. Ця складність, по суті, така ж, як і вибір певної параметризації ймовірності та вибір міри Лебега для цієї параметризації. Якщо ви зіткнулися з функцією правдоподібності, на просторі параметрів немає властивої (або внутрішньої або опорної) міри, що домінує.

Поза цією експоненціальною сімейною обстановкою не існує нетривіального сімейства розподілів із фіксованою підтримкою, яка дозволяє поєднувати пріори. Це наслідок леми Дармуа-Пітмана-Коопмана .

Мені подобається використовувати поняття "ядро" розподілу. Тут ви залишаєте лише ті частини, які залежать від параметра. Кілька простих прикладів.

Нормальне ядро

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ Де $K$ - "нормалізуюча константа" $K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ Зв'язок із стандартними середніми / дисперсійними параметрами дорівнює$E(\mu|a,b)=-\frac{b}{2a}$ і$Var(\mu|a,b)=-\frac{1}{2a}$

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ $K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

Коли ми дивимось на функцію ймовірності, ми можемо зробити те ж саме і висловити її у "формі ядра". Наприклад, з даними про iid

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

For some constant $Q$ and some function $f(\mu)$. If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$