Багатоваріантний нормальний задній


18

Це дуже просте запитання, але я не можу знайти виведення ні в Інтернеті, ні в книзі. Мені б хотілося побачити, як один баєс оновляє багатоваріантний нормальний розподіл. Наприклад: уявіть це

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Зауваживши набір x1...xn , я хотів би обчислити P(μ|x1...xn) . Я знаю, що відповідь - P(μ|x1...xn)=N(μn,Σn) де

μn=Σ0(Σ0+1nΣ)−1(1n∑i=1nxi)+1nΣ(Σ0+1nΣ)−1μ0Σn=Σ0(Σ0+1nΣ)−11nΣ

Я шукаю виведення цього результату з усією алгеброю проміжних матриць.

Будь-яка допомога дуже цінується.


2
Це також вирішено в нашій книзі Bayesian Core , гл. 3, розділ 3.2, стор. 54-57 з нашою думкою, детальною матричною алгеброю!
— Сіань

1
ОП заявила, що це не проблема домашнього завдання, і навіть пояснила, чому він це запитував, і як він хоче використовувати відповідь. Чому б не опублікувати його для інших? Я розумію, чому ми не хочемо надавати послуги з вирішення домашніх завдань, але це занадто далеко.
— Майкл Р. Черник

3
@Alex: Вибачте, неправильне посилання, я мав на увазі Bayesian Core . Зауважте, що ми також розміщували рішення для всіх проблем на arXiv . Тож розміщення тут повного рішення не завадило б!
— Сіань

1
Я видалив частину коментарів, які становлять приватний обмін між особами з домовленістю поділитися приватною відповіддю на питання. Такі речі зловживають цим сайтом, що стосується публічних питань та публічних відповідей.
— whuber

1
Так само, як і БЮР, деривація є в Класифікації шаблонів Дуда, Харт та Лелека. Однак мені було складно виконувати деякі їх кроки, які мають значення лише для мене. Якби це просто домашнє завдання, можна було б просто записати саме те, що вони мають.
— Олексій

Відповіді:


6

З розподілами на наших випадкових векторах:

xi|μ∼N(μ,Σ)

μ∼N(μ0,Σ0)

За правилом Байєса задній розподіл виглядає так:

p(μ|{xi})∝p(μ)∏i=1Np(xi|μ)

Так:

ln⁡p(μ|{xi})=−12∑i=1N(xi−μ)′Σ−1(xi−μ)−12(μ−μ0)′Σ0−1(μ−μ0)+const

=−12Nμ′Σ−1μ+∑i=1Nμ′Σ−1xi−12μ′Σ0−1μ+μ′Σ0−1μ0+const

=−12μ′(NΣ−1+Σ0−1)μ+μ′(Σ0−1μ0+Σ−1∑i=1Nxi)+const

=−12(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))′(NΣ−1+Σ0−1)(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))+const

Яка щільність журналу гаусса:

μ|{xi}∼N((NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi),(NΣ−1+Σ0−1)−1)

Використання ідентичності Вудбері в нашому вираженні для матриці коваріації:

(NΣ−1+Σ0−1)−1=Σ(1NΣ+Σ0)−11NΣ0

Що забезпечує коваріаційну матрицю у формі, яку шукає ОП. Використовуючи цей вираз (та його симетрію) далі у виразі для середнього значення, яке ми маємо:

Σ(1NΣ+Σ0)−11NΣ0Σ0−1μ0+1NΣ0(1NΣ+Σ0)−1ΣΣ−1∑i=1Nxi

=Σ(1NΣ+Σ0)−11Nμ0+Σ0(1NΣ+Σ0)−1∑i=1N(1Nxi)

Яка форма, необхідна ОП для середнього значення.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.