Багатоваріантний нормальний задній


18

Це дуже просте запитання, але я не можу знайти виведення ні в Інтернеті, ні в книзі. Мені б хотілося побачити, як один баєс оновляє багатоваріантний нормальний розподіл. Наприклад: уявіть це

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Зауваживши набір x1...xn , я хотів би обчислити P(μ|x1...xn) . Я знаю, що відповідь - P(μ|x1...xn)=N(μn,Σn) де

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Я шукаю виведення цього результату з усією алгеброю проміжних матриць.

Будь-яка допомога дуже цінується.


2
Це також вирішено в нашій книзі Bayesian Core , гл. 3, розділ 3.2, стор. 54-57 з нашою думкою, детальною матричною алгеброю!
Сіань

1
ОП заявила, що це не проблема домашнього завдання, і навіть пояснила, чому він це запитував, і як він хоче використовувати відповідь. Чому б не опублікувати його для інших? Я розумію, чому ми не хочемо надавати послуги з вирішення домашніх завдань, але це занадто далеко.
Майкл Р. Черник

3
@Alex: Вибачте, неправильне посилання, я мав на увазі Bayesian Core . Зауважте, що ми також розміщували рішення для всіх проблем на arXiv . Тож розміщення тут повного рішення не завадило б!
Сіань

1
Я видалив частину коментарів, які становлять приватний обмін між особами з домовленістю поділитися приватною відповіддю на питання. Такі речі зловживають цим сайтом, що стосується публічних питань та публічних відповідей.
whuber

1
Так само, як і БЮР, деривація є в Класифікації шаблонів Дуда, Харт та Лелека. Однак мені було складно виконувати деякі їх кроки, які мають значення лише для мене. Якби це просто домашнє завдання, можна було б просто записати саме те, що вони мають.
Олексій

Відповіді:


6

З розподілами на наших випадкових векторах:

xi|μN(μ,Σ)

μN(μ0,Σ0)

За правилом Байєса задній розподіл виглядає так:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Так:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Яка щільність журналу гаусса:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Використання ідентичності Вудбері в нашому вираженні для матриці коваріації:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Що забезпечує коваріаційну матрицю у формі, яку шукає ОП. Використовуючи цей вираз (та його симетрію) далі у виразі для середнього значення, яке ми маємо:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Яка форма, необхідна ОП для середнього значення.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.