Дивергенція KL між двома багатовимірними гаусівцями

У мене виникають проблеми з виведенням формули дивергенції KL, припускаючи два багатоваріантні нормальні розподіли. Я зробив універсальну справу досить легко. Однак минуло досить багато часу, як я взяв статистику з математики, тож у мене виникли певні труднощі з поширенням її на багатоваріантну справу. Я впевнений, що мені просто не вистачає чогось простого.

Ось що я маю ...

Припустимо, і і є pdfs нормальних розподілів із засобами та та дисперсіями та відповідно. Відстань Кулбека-Лейблера від до дорівнює: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , що для двох багатоваріантних нормалей дорівнює:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Дотримуючись тієї ж логіки, що і цей доказ , я добираюся тут, перш ніж застрягти:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Я думаю, що мені потрібно здійснити трюк , але я просто не впевнений, що робити після цього. Будемо вдячні за будь-які корисні підказки щодо повернення мене на правильний шлях!

normal-distribution kullback-leibler proof

— дмартін
джерело

stanford.edu/~jduchi/projects/general_notes.pdf . Останній розділ також дає виведення.

— користувач3540823

Починаючи з того, з чого ви почали деякі невеликі виправлення, ми можемо написати

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Зауважте, що я використав пару властивостей із розділу 8.2 Матричної кулінарної книги .

— рамхізер
джерело

Я бачу, ти вийняв D, який у мене був спочатку. Чи не було б у вас терміну D після того, як ви зробили журнал Гаусса в перші кілька кроків?

— dmartin

Розглянемо коефіцієнт масштабування , багатоваріантної нормальної щільності. При обчисленні різниці журналів термін відходить. Немає терміна для визначників - просто, , який розраховується.

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— ramhiser

Ніяких проблем взагалі. Радий, що можу допомогти.

— ramhiser

Привіт, як ти придумав останній крок? Як ви змінили знак на ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost

@acidghost Або один працює, тому що ми можемо визначити негативний з обох сторін. Помноження двох негативних дає позитивну.

— ramhiser