Які є визначення напівзв’язаних та умовних сполучених пріорів?

Що таке визначення напівсполучених пріорів та умовних спряжених пріорів ? Я знайшов їх у Байєсівському аналізі даних Гельмана , але не зміг знайти їх визначення.

bayesian

— Тім
джерело

Відповіді:

Використовуючи визначення в баєсівському аналізі даних (3-е видання) , якщо є класом вибіркових розподілів , а - клас попередніх розподілів для , то клас є сполученим для якщо $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Якщо $\mathcal{F}$ - клас вибіркових розподілів $p(y|\theta,\phi)$ , а $\mathcal{P}$ - клас попередніх розподілів для залежить $\theta$ від $\phi$ , то клас $\mathcal{P}$ є умовним сполучником для $\mathcal{F}$ якщо

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

Умовно сполучені пріори зручні в побудові пробовідбору Гіббса, оскільки повний умовний буде відомим сімейством.

Я шукав електронну версію Байєсівського аналізу даних (3-е видання) і не зміг знайти посилання на напівкон'югат до попереднього. Я здогадуюсь, що це синонім умовно сполученого, але якщо ви надаєте посилання на його використання в книзі, я повинен мати можливість дати визначення.

— jaradniemi
джерело

+1. Яка URL-адреса для 3-го видання аналізу Bayesian Data?

— Патрік Куломбе

Дякую! ПОЛУСОПРЯЖЕННИЙ тут з'являється (2 - й вид) books.google.com / ... . До речі, як ви отримали книгу для 3-го видання?

— Тім

Я не впевнений, чому там сказано напівзв’язком, оскільки пріор є повністю сполученим. Цей вилучення видалено в 3-му виданні. Електронну книгу можна придбати тут: crcpress.com/product/isbn/9781439840955 .

— jaradniemi

@jaradniemi: У посиланні, яке я дав, поверх p84, вказується, що попередній напівкон'югат не є кон'югатом.

— Тім

У на що посилається кожен з і чи посилається кожен на одне і те ж?

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

Я б хотів використовувати багатомірний звичайний як приклад.

Нагадаємо, що ймовірність надає о

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Для того, щоб знайти перед цією ймовірністю, ми можемо вибрати

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

Я запевняю, що НЕ хвилюйтесь про ; вони просто параметри попереднього розподілу. $\mu_0,\Lambda_0,\nu_0,S_0$

Важливо, однак, що це не пов'язане з вірогідністю. Щоб зрозуміти, чому я хотів би процитувати довідку, яку я знайшов в Інтернеті.

зауважте, що та ймовірно з'являються разом нефакторизованим способом; отже, вони також будуть з'єднані разом в задній частині $\mu$ $\Sigma$

Довідка - "Машинне навчання: ймовірнісна перспектива" Кевіна П. Мерфі. Ось посилання . Ви можете знайти цитату в Розділі 4.6 (Вказівки параметрів MVN) вгорі сторінки 135.

Щоб продовжити цитату,

Вищевказаний пріоритет іноді називають напівсопряженим або умовно сполученим , оскільки обидва умовні умови, і , є індивідуально сполученими. Щоб створити попередній повний кон'югат , нам потрібно використовувати пріоритет, де та залежать один від одного. Ми будемо використовувати спільний розподіл форми $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

Ідея тут полягає в тому, що перший попередній розподіл

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

припускає, що та є відокремленими (або незалежними у певному сенсі). Тим не менш, ми зауважуємо, що у функції ймовірності та не можуть бути розбиті окремо, що означає, що вони не будуть відокремлені в задній частині (Нагадаємо, ). Це показує, що "нероздільний" задній і "відокремлюваний" на початку не є сполученими. З іншого боку, шляхом переписування $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

таким чином, що та залежать один від одного (через ), ви отримаєте попередній кон'югат, який називається попередньо напівсопряженим . Це, сподіваємось, відповідає на ваше запитання. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps : Ще одна дійсно корисна довідка, яку я використав, - «Перший курс байєсівських статистичних методів» Пітера Д. Гоффа. Ось посилання на книгу. Ви можете знайти відповідний вміст у Розділі 7, починаючи зі сторінки 105, і він має дуже хороше пояснення (та інтуїцію) щодо одновимірного нормального розподілу у Розділі 5, починаючи зі сторінки 67, яке знову буде підкріплено у Розділі 7, коли він має справу з MVN.

— NeverBe
джерело

Якщо - клас вибіркових розподілів , а - клас попередніх розподілів для , то клас є напівкоректним для якщо для всіх і , де і не належить класу . $F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— нудтлкст
джерело