Виведення задньої частини Норма-Вішарта


11

Я працюю над виведенням задньої частини Normal-Wishart, але я застряг у одному з параметрів (задній частині матриці шкали, див. Внизу).

Тільки для контексту та повноти, ось модель та решта похідних:

xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)

Розширеними формами кожного з трьох факторів є (до постійної пропорційності) є:

  • Ймовірність:

    N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))
  • Звичайний попередній час:

    N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))
  • Попереднє завдання:

    W(Λ|υ0,W0)∝|Λ|υ0−D−12exp⁡(−12tr(W0−1Λ))

Ми хочемо заднього Normal-Wishart ( ), який можна розкласти як а також :μ,Λ|μ′,κ′,υ′,W′N(μ|μ,κ′Λ)W(Λ|υ′,W′)

Погіршення свободиυ′

Об'єднуючи перші чинники ймовірності та Вішарта, ми отримуємо перший фактор коефіцієнта Вішарта в задній частині: і тому у нас є перший параметр заднього:

|Λ|υ0+N−D−12
υ′=υ0+N

Коефіцієнт масштабуκ′

Ми ідентифікуємо елементи, оточені і щоб дізнатися, хто попередньо оновлює ймовірність: і тому ми отримали другий параметр: μTμκ0Λ

μT((κ0+N)Λ)μ
κ′=κ0+N

Середнійμ′

Треті параметри походять від визначення того, що знаходиться всередині : І тому ми отримали третій параметр: 2μT...

2μT(ΛNx¯+κ0Λμ0)=2μTκ′Λμ′(ΛNx¯+κ0Λμ0)=κ′Λμ′(Nx¯+κ0μ0)=κ′μ′
μ′=1k′(Nx¯+κ0μ0)

Матриця масштабуW′

І четвертий параметр відбувається від роботи над рештою параметрами:

tr(W′−1Λ)=tr(W0−1Λ)+∑i=1NxiTΛxi+μ0Tκ0Λμ0=tr(W0−1Λ)+∑i=1Ntr(xiTΛxi)+tr(μ0Tκ0Λμ0)=tr(W0−1Λ+∑i=1NxiTΛxi+μ0Tκ0Λμ0)

Як продовжуватись звідси (якщо я досі не помилявся) і отримати стандартне рішення для ?W′

Редагувати 1 :

Тепер ми перевпорядковуємо умови, додаємо та підбиваємо деякі фактори, щоб отримати два квадрати, як у стандартному рішенні:

tr(W′−1Λ)=tr(W−1Λ+∑i=1N(xiTΛxi+x¯TΛx¯−2xiTΛx¯)+κ0(μ0TΛμ0+x¯TΛx¯−2x¯TΛμ0)−∑i=1Nx¯TΛx¯+2∑i=1NxiTΛx¯−κ0x¯TΛx¯+2κ0x¯TΛμ0)=tr(W−1Λ+∑i=1N(xi−x¯)Λ(xi−x¯)T+κ0(x¯−μ0)Λ(x¯−μ0)T−Nx¯Λx¯T+2Nx¯Λx¯T−κ0x¯Λx¯T+2κ0x¯Λμ0T)

Ми спростимо фактори, які залишаються поза квадратами:

tr(W′−1Λ)=tr(W−1Λ+∑i=1N(xi−x¯)TΛ(xi−x¯)+κ0(x¯−μ0)TΛ(x¯−μ0)+(N−κ0)x¯TΛx¯+2κ0x¯TΛμ0)

Редагувати 2 ( продовжити завдяки відповіді @bdeonovic )

Слід циклічний, тому . Тоді: а потім: tr(ABC)=tr(BCA)=tr(CAB)

tr(W′−1Λ)=tr(W−1Λ+∑i=1N(xi−x¯)(xi−x¯)TΛ+κ0(x¯−μ0)(x¯−μ0)TΛ+(N−κ0)x¯x¯TΛ+2κ0x¯μ0TΛ)
tr(W′−1)=tr(W−1+∑i=1N(xi−x¯)(xi−x¯)T+κ0(x¯−μ0)(x¯−μ0)T+(N−κ0)x¯x¯T+2κ0x¯μ0T)

Майже! Але все одно там немає. Мета:

W−1+∑i=1N(xi−x¯)(xi−x¯)T+κ0Nκ0+N(x¯−μ0)(x¯−μ0)T

Відповіді:


4

Слід циклічний, тому . Також слід розподіляє по доданню так, що . За допомогою цих фактів ви повинні мати змогу термін на задній план у термінах сліду, поєднати терміни сліду разом. Результат повинен виглядати приблизно якtr(ABC)=tr(BCA)=tr(CAB)tr(A+B)=tr(A)+tr(B)Λ

W′−1=W−1+∑i=1Nxixi⊺+μ0μ0⊺

Дякую! але я не бачу, як звідти дістатись до стандартних результатів ( en.wikipedia.org/wiki/Conjugate_prior ), що містить та . У мене навіть немає негативних ознак: О∑(xi−x¯)x¯−μ0
— Альберто

3

Ймовірність до цього є ×

|Λ|N/2exp⁡{−12(∑i=1NxiTΛxi−Nx¯TΛμ−μTΛNx¯+NμTΛμ)}×|Λ|(ν0−D−1)/2exp⁡{−12tr(W0−1Λ)}×|Λ|1/2exp⁡{−κ02(μTΛμ−μTΛμ0−μ0TΛμ+μ0TΛμ0)}.
Це можна переписати як Ми можемо переписати
|Λ|1/2|Λ|(ν0+N−D−1)/2×exp⁡{−12((κ0+N)μTΛμ−μTΛ(κ0μ0+Nx¯)−(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+∑i=1NxiTΛxi+tr(W0−1Λ))}
(κ0+N)μTΛμ−μTΛ(κ0μ0+Nx¯)−(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+∑i=1NxiTΛxi+tr(W0−1Λ)
, додаючи та віднімаючи термін:
(κ0+N)μTΛμ−μTΛ(κ0μ0+Nx¯)−(κ0μ0+Nx¯)TΛμ+1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)−1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+∑i=1NxiTΛxi+tr(W0−1Λ).
Два верхні рядки тепер поділяються як
(κ0+N)(μ−κ0μ+Nx¯κ0+N)TΛ(μ−κ0μ+Nx¯κ0+N).

Додавання і віднімання , наступне: можна переписати як Nx¯TΛx¯

−1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+∑i=1NxiTΛxi+tr(W0−1Λ)
∑i=1N(xiTΛxi−xiTΛx¯−x¯TΛxi+x¯TΛx¯)+Nx¯TΛx¯+κ0μ0TΛμ0−1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+tr(W0−1Λ).
Сумний термін
∑i=1N(xiTΛxi−xiTΛx¯−x¯TΛxi+x¯TΛx¯)
дорівнює Тепер можна розширити як
∑i=1N(xi−x¯)TΛ(xi−x¯).
Nx¯TΛx¯+κ0μ0TΛμ0−1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)
Nx¯TΛx¯+κ0μ0TΛμ0−1κ0+N(κ02μ0TΛμ0+Nκ0μ0TΛx¯0+Nκ0x¯TΛμ0+N2x¯TΛx¯),
що дорівнює
Nκ0κ0+N(x¯TΛx¯−x¯TΛμ0−μ0TΛx¯+μ0TΛμ0)=Nκ0κ0+N(x¯−μ0)TΛ(x¯−μ0).

Наступні два терміни є скалярами: І будь-який скаляр дорівнює його сліду, тому

∑i=1N(xi−x¯)TΛ(xi−x¯),Nκ0κ0+N(x¯−μ0)TΛ(x¯−μ0).
tr(W0−1Λ)+∑i=1N(xi−x¯)TΛ(xi−x¯)+Nκ0κ0+N(x¯−μ0)TΛ(x¯−μ0)
можна переписати як Оскільки , зазначена вище сума дорівнює
tr(W0−1Λ)+tr(∑i=1N(xi−x¯)TΛ(xi−x¯))+tr(Nκ0κ0+N(x¯−μ0)TΛ(x¯−μ0)).
tr(ABC)=tr(CAB)
tr(W0−1Λ)+tr(∑i=1N(xi−x¯)(xi−x¯)TΛ)+tr(Nκ0κ0+N(x¯−μ0)(x¯−μ0)TΛ).
Використовуючи той факт, що , ми можемо переписати суму як tr(A+B)=tr(A)+tr(B)
tr(W0−1Λ+∑i=1N(xi−x¯)(xi−x¯)TΛ+Nκ0κ0+N(x¯−μ0)(x¯−μ0)TΛ)=tr((W0−1+∑i=1N(xi−x¯)(xi−x¯)T+Nκ0κ0+N(x¯−μ0)(x¯−μ0)T)Λ).

Збираючи все це разом, якщо дозволити маємо, що ймовірність до цього дорівнює S=∑i=1N(xi−x¯)(xi−x¯)T×

|Λ|1/2exp⁡{−κ0+N2(μ−κ0μ+Nx¯κ0+N)TΛ(μ−κ0μ+Nx¯κ0+N)}×|Λ|(ν0+N−D−1)/2exp⁡{−12tr((W0−1+S+Nκ0κ0+N(x¯−μ0)(x¯−μ0)T)Λ)},
як потрібно.
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.