Пояснення максимізації очікування

Я знайшов дуже корисний підручник щодо алгоритму ЕМ .

Приклад та малюнок із підручника просто геніальні.

введіть тут опис зображення

Пов'язане питання щодо обчислення ймовірностей, як працює максимізація очікування?

У мене є ще одне питання щодо того, як з'єднати теорію, описану в підручнику, із прикладом.

Під час Е-кроку ЕМ вибирає функцію яка знижує межі скрізь, і для якої . $g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

Отже, що таке у нашому прикладі, і схоже, що воно повинно бути різним для кожної ітерації. $g_t$

Крім того, у прикладі та то застосувавши їх до даних, отримаємо, що і . Що для мене виглядає протилежним інтуїтивно. Ми мали деякі попередні припущення, застосували їх до даних та отримали нові припущення, тому дані так чи інакше змінили припущення. Я не розумію, чому не дорівнює . $\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

Крім того, виникає більше запитань, коли ви бачите Додаткову примітку 1 до цього підручника. Наприклад, що таке у нашому випадку. Мені не ясно, чому нерівність щільна, коли $Q(z)$ $Q(z)=P(z|x;\Theta)$

Дякую.

— користувач16168
джерело

Я вважав ці замітки дуже корисними для з'ясування того, що відбувається в додатковому матеріалі.

Я відповім на ці питання трохи не в порядку для наступності.

По-перше: чому це так

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

Друге: чому нерівність обмежена, коли

Q (z) = П (z | х; θ)

$Q(z) = P(z|x;\theta)$

У виносках є натяк на це, де сказано:

$y=E[y]$

$Q$ $\frac{P(x, z; \theta)}{Q(z)}$

П (х, z; θ) = П (z | х; θ) П (х; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

що робить нашу фракцію

\frac{П (z | х; θ) П (х; θ)}{П (z | х; θ)} = П (х; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

$P(x; \theta)$ $z$ $C$

журнал (\sum_{z} Q (z) С) \geq \sum_{z} Q (z) журнал (С)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

$Q(z)$

$g_t$

Відповідь, подана в примітках, які я зв'язав, дещо відрізняється від відповіді в додаткових записках, але вони відрізняються лише постійною, і ми максимізуємо її, щоб вона не мала наслідку. Той, що в примітках (з виведенням):

г_{т} (θ) = журнал (П (х | θ^{(т)})) + \sum_{z} П (z | х; θ^{(т)}) журнал (\frac{П (х | z; θ) П (z | θ)}{П (z | х; θ^{(т)}) П (х | θ^{(т)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

Про цю складну формулу в додаткових записках не йдеться дуже довго, можливо, тому що багато цих термінів будуть константами, які викидаються, коли ми максимізуємо. Якщо вас цікавить, як ми приїжджаємо сюди в першу чергу, я рекомендую ті замітки, які я пов’язав.

$g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— Майк
джерело