Співвідношення між варіаційними Байесом та ЕМ

Я десь прочитав, що метод Варіаційного Байєса - це узагальнення алгоритму ЕМ. Дійсно, ітеративні частини алгоритмів дуже схожі. Щоб перевірити, чи алгоритм ЕМ є спеціальною версією Variational Bayes, я спробував наступне:

$Y$ - це дані, - це збір прихованих змінних, а - параметри. У варіаційних Бейсах ми можемо зробити наближення таким, що . Де s - простіші, простежувані розподіли. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Оскільки алгоритм ЕМ знаходить оцінку точки MAP, я подумав, що варіаційний Бейс може сходитися до ЕМ, якщо я використовую функцію Дельта, таку: . - перша оцінка параметрів, як це зазвичай робиться в ЕМ. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Коли , що мінімізує розбіжність KL, знаходимо за формулою Вищенаведена формула спрощується до , цей крок виявляється еквівалентом кроку очікування алгоритму ЕМ! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Але я не можу отримати крок максимізації як продовження цього. На наступному кроці нам потрібно обчислити і відповідно до правила варіаційної ітерації Баєса це: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Чи алгоритми VB та EM насправді пов'язані таким чином? Як ми можемо визначити ЕМ як особливий випадок Варіаційного Байєса, чи правда мій підхід?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
джерело

Де ви читали, що алгоритм ЕМ знаходить оцінку MAP? Зв'язок між варіаційним висновком та ЕМ стане зрозумілим, як тільки ви зрозумієте погляд на ЕМ, представлений у цій роботі Neal & Hinton (1998) . Дивіться також мою відповідь тут .

— Лукас

Я думаю, що я вивчив алгоритм ЕМ так само, як це пояснює цей документ, він розглядається як нижня межа максимальної задачі. Використовуючи рівність Йенсена та обчислення варіацій, виявляється, що на етапі очікування - це розподіл, який максимізує нижню межу для і на кроці максимізації знаходимо , що є максимумом на нижній межі. Отже, це схоже на Варіаційний Бейс. (І це сходиться до локального максимуму граничного заднього, звідси оцінка ПДЧ)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici

Вибачте, я недостатньо уважно прочитав ваше запитання. Я вважаю, що ваш крок максимізації для обчислення справедливий лише в тому випадку, якщо ви дозволяєте будь-який розподіл, тобто якщо ви робите лише припущення щодо факторизації. Але ви додатково припустили, що є розподілом дельти. Спробуйте явно максимізувати нижню межу відносно , параметра .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Лукас

Я знайшов на сторінці 21 презентації cs.cmu.edu/~tom/10-702/Zoubin-702.pdf порівняння ЕМ та ВБ показано аналогічно за допомогою функції Дірака. Але як VB зводиться до ЕМ, не дано.

— Ufuk Can Bicici

Ваш підхід правильний. ЕМ еквівалентний VB за обмеженням, що наближена posterior для обмежена точковою масою. (Це згадується без доказів на сторінці 337 Баєсівського аналізу даних .) Нехай буде невідомим місцем цієї маси точки: VB мінімізуйте наступні KL-розбіжності: Мінімум над дає Е-крок ЕМ, а мінімальний понад дає М-крок ЕМ. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Звичайно, якби ви насправді оцінювали розбіжність KL, це було б нескінченно. Але це не проблема, якщо ви вважаєте дельта функцію обмеженням.

— Том Мінка
джерело

Технічно максимізація wrt відповідає M-кроку MAP-EM (з попереднім ). - розділ 3.1 статті VBEM

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Ібо Ян