Застосування максимізації очікувань до прикладів кидання монет

Останнім часом я самостійно вивчаю максимізацію очікувань і захоплюю собі кілька простих прикладів.

З тут : Є три монети , і з , і відповідну ймовірність для посадки на голові , коли кинув. Кидок . Якщо результат - голова, тричі киньте , інше киньте тричі. Дані, які спостерігаються та є такими: HHH, TTT, HHH, TTT, HHH. Приховані дані є результатом . Оцініть , та . $c_0$ $c_1$ $c_2$ $p_0$ $p_1$ $p_2$ $c_0$ $c_1$ $c_2$ $c_1$ $c_2$ $c_0$ $p_0$ $p_1$ $p_2$

І звідси : Є дві монети і $c_A$ $c_B$ з $p_A$ і $p_B$ що є відповідною ймовірністю посадки на Head при киданні. У кожному раунді виберіть одну монету навмання і киньте її десять разів; записувати результати. Спостережувані дані - це результати жеребкування, надані цими двома монетами. Однак ми не знаємо, яка монета була обрана для конкретного раунду. Розрахунковий $p_A$ і $p_B$ .

Хоча я можу отримати розрахунки, я не можу пов'язати шляхи їх вирішення з оригінальною теорією ЕМ. Зокрема, під час М-кроку обох прикладів я не бачу, як вони що-небудь максимізують. Просто здається, що вони перераховують параметри і чомусь нові параметри краще, ніж старі. Більше того, два Е-кроки навіть не схожі один на одного, не кажучи вже про Е-крок оригінальної теорії.

То як саме ці приклади працюють?

probability-theory statistics

— IcySnow
джерело

У першому прикладі, скільки екземплярів одного експерименту ми отримуємо? У другому прикладі, що таке закон "вибрати одну монету навмання"? Скільки раундів ми спостерігаємо?

— Рафаель

PDF-файли, які я пов’язав, вже вирішують ці два приклади поетапно. Однак я не дуже розумію використовуваний алгоритм ЕМ.

— IcySnow

@IcySnow, ти розумієш поняття очікування та умовного очікування випадкової величини?

— Ніколас Манкузо

Я розумію основні очікування випадкової величини та умовної ймовірності. Однак я не знайомий із умовним очікуванням, його похідною та достатньою статистикою.

— IcySnow

(У цій відповіді використовується друге посилання, яке ви дали.)

$\newcommand{\Like}{\text{L}}\newcommand{\E}{\text{E}}$ Згадаймо визначення ймовірності: де в нашому випадку є оцінниками ймовірності того, що монети A і B відповідно наземні голови, є результатами наших експериментів, кожен

L [θ | X] = Pr [X | θ] = \sum_{Z} Pr [X, Z | θ]

$\Like[\theta | X] = \Pr[X| \theta] = \sum_Z \Pr[X, Z | \theta]$

θ = (θ_{A}, θ_{B})

$\theta = (\theta_A, \theta_B)$

X = (X_{1}, \dots, X_{5})

$X = (X_1, \dotsc, X_5)$

що складається з 10 фліп, і

- монета, що використовується в кожному експерименті.

X_{i}

$X_i$

Z = (Z_{1}, \dots, Z_{5})

$Z = (Z_1, \dotsc, Z_5)$

Ми хочемо знайти оцінку максимальної правдоподібності & . Алгоритм-Максимізація Expectation (ЕМ) є одним з таких способів , щоб знайти ( по крайней мере , & . Він працює, знаходячи умовне очікування, яке потім використовується для максимізації . Ідея полягає в тому, що, постійно знаходячи більш імовірні (тобто більш ймовірні) в кожній ітерації, ми будемо постійно збільшувати що в свою чергу збільшує ймовірність функції. Є три речі, які потрібно зробити, перш ніж рухатись вперед до проектування алгоритму, заснованого на ЕМ. $\hat{\theta}$ $\hat{\theta}$ $\theta$ $\theta$ $\Pr[X,Z|\theta]$

Побудуйте модель
Обчислити умовні очікування за моделлю (Е-крок)
Максимізуйте нашу ймовірність, оновивши нашу поточну оцінку (М-крок) $\theta$

Побудуйте модель

Перш ніж піти далі з ЕМ, нам потрібно розібратися, що саме ми обчислюємо. На етапі Е ми обчислюємо саме очікуване значення для . То яка ж цінність насправді? Зауважте, що $\log \Pr[X,Z|\theta]$ Причина в тому, що у нас є 5 експериментів, і ми не знаємо, яку монету використовували в кожному. Нерівність пояснюється тим, щоє увігнутим і застосовує нерівність Дженсена. Причиною, що нам потрібна нижня межа, є те, що ми не можемо безпосередньо обчислити аргумент max до початкового рівняння. Однак ми можемо обчислити його для остаточної нижньої межі.

\begin{aligned} журнал Пр [Х, Z | θ] & = \sum_{i = 1}^{5} журнал \sum_{С \in {А, Б}} Пр [Х_{i}, Z_{i} = С | θ] \\ = \sum_{i = 1}^{5} журнал \sum_{С \in {А, Б}} Пр [Z_{i} = С | Х_{i}, θ] \cdot \frac{Пр [Х_{i}, Z_{i} = С | θ]}{Пр [Z_{i} = С | Х_{i}, θ]} \\ \geq \sum_{i = 1}^{5} \sum_{С \in {А, Б}} Пр [Z_{i} = С | Х_{i}, θ] \cdot журнал \frac{Пр [Х_{i}, Z_{i} = С | θ]}{Пр [Z_{i} = С | Х_{i}, θ]} . \end{aligned}

$\begin{align*} \log \Pr[X,Z|\theta] &= \sum_{i=1}^5 \log\sum_{C\in \{A,B\}}\Pr[X_i, Z_i=C| \theta]\\ &=\sum_{i=1}^5 \log\sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}\\ &\geq \sum_{i=1}^5 \sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \log\frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}. \end{align*}$

\log

$\log$

Тепер що таке ? Ймовірно, що ми бачимо монету задану експериментами та . Використовуючи умовні ймовірності, маємо, $\Pr[Z_i=C|X_i,\theta]$ $C$ $X_i$ $\theta$

Пр [Z_{i} = С | Х_{i}, θ] = \frac{Пр [Х_{i}, Z_{i} = С | θ]}{Пр [Х_{i} | θ]} .

$\Pr[Z_i=C| X_i, \theta] = \frac{\Pr[X_i, Z_i = C|\theta]}{\Pr[X_i|\theta]}.$

Поки ми досягли певного прогресу, ми ще не закінчили цю модель. Яка ймовірність того, що дана монета перевернула послідовність ? Нехай $X_i$ $h_i = \#\text{heads in } X_i$ Тепер, очевиднотільки ймовірність при обох можливостяхабо. Оскільки

Пр [Х_{i}, Z_{i} = С | θ] = \frac{1}{2} \cdot θ_{С}^{{год}_{i}} (1 - θ_{С})^{10 - {год}_{i}}, для С \in {А, Б} .

$\Pr[X_i, Z_i = C| \theta] = \frac{1}{2} \cdot \theta_C^{h_i} (1 - \theta_C)^{10 - h_i},\ \text{ for } \ C \in \{A, B\}.$

Pr [X_{i} | θ]

$\Pr[X_i|\theta]$

Z_{i} = A

$Z_i=A$

Z_{i} = B

$Z_i=B$

ми маємо,

Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2

$\Pr[Z_i = A] = \Pr[Z_i = B] = 1/2$

Пр [Х_{i} | θ] = 1 / 2 \cdot (Пр [Х_{i} | Z_{i} = А, θ] + Пр [Х_{i} | Z_{i} = Б, θ]) .

$\Pr[X_i|\theta] = 1/2 \cdot (\Pr[X_i |Z_i = A, \theta] + \Pr[X_i |Z_i = B, \theta]).$

Е-крок

$\theta$ $\theta^0 = (0.6,0.5)$

Пр [Z_{1} = А | Х_{1}, θ] = \frac{1 / 2 \cdot ({0,6}^{5} \cdot {0,4}^{5})}{1 / 2 \cdot (({0,6}^{5} \cdot {0,4}^{5}) + ({0,5}^{5} \cdot {0,5}^{5}))} \approx 0,45.

$\Pr[Z_1=A|X_1,\theta] = \frac{1/2 \cdot (0.6^5 \cdot 0.4^5)}{1/2 \cdot ((0.6^5 \cdot 0.4^5) + (0.5^5 \cdot 0.5^5))} \approx 0.45.$

X_{1} = (H, T, T, T, H, H, T, H, T, H)

$X_1 = (H,T,T,T,H,H,T,H,T,H)$

A

$A$

Е [# голови монетою А | Х_{1}, θ] = {год}_{1} \cdot Пр [Z_{1} = А | Х_{1}, θ] = 5 \cdot 0,45 \approx 2.2.

$\E[\# \text{heads by coin }A | X_1, \theta] = h_1 \cdot \Pr[Z_1=A|X_1,\theta] = 5 \cdot 0.45 \approx 2.2.$

B

$B$

Е [# голови монетою Б | Х_{1}, θ] = {год}_{1} \cdot Пр [Z_{1} = Б | Х_{1}, θ] = 5 \cdot 0,55 \approx 2.8.

$\E[\# \text{heads by coin }B | X_1, \theta] = h_1 \cdot \Pr[Z_1=B|X_1,\theta] = 5 \cdot 0.55 \approx 2.8.$

h_{1}

$h_1$

10 - h_{1}

$10 - h_1$

X_{i}

$X_i$

h_{i}

$h_i$

1 \leq i \leq 5

$1 \leq i \leq 5$

Е [# голови монетою А | Х, θ] = \sum_{i = 1}^{5} Е [# голови монетою А | Х_{i}, θ]

$\E[\#\text{heads by coin } A|X ,\theta] = \sum_{i=1}^5 \E[\# \text{heads by coin }A | X_i, \theta]$

М-крок

$\theta$

θ_{А}^{1} = \frac{Е [# голови над Х монетою А | Х, θ]}{Е [# голови та хвости Х монетою А | Х, θ]} = \frac{21.3}{21.3 + 9.6} \approx 0,71.

$\theta_A^1 = \frac{E[\#\text{heads over } X \text{ by coin } A|X ,\theta]}{E[\#\text{heads and tails over } X \text{ by coin } A|X ,\theta]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.$

B

$B$

θ^{1}

$\theta^1$

θ

$\theta$

\hat{θ} = θ^{10} = (0.8, 0.52)

$\hat{\theta} = \theta^{10} = (0.8, 0.52)$

Pr [X, Z | θ]

$\Pr[X,Z|\theta]$

θ

$\theta$

$\hat{\theta}$

— Ніколас Манкузо
джерело

Якщо якісь деталі не зрозумілі, я також можу спробувати розширити їх.

— Ніколас Манкузо

Зараз стає набагато зрозуміліше. Що я насправді не отримую, тому очікувана кількість головок для монети A обчислюється як: E [#головок монети A | X1, θ] = h1⋅Pr [Z1 = A | X1, θ] = 5⋅0.45 ≈2,2? Проблема, згадана в першому PDF, є більш складною. Якщо ви не заперечуєте, чи можете ви також зробити кілька ілюстративних розрахунків? Велике спасибі за вашу відповідь.

— IcySnow

E [# heads by coin A | X_{1}, θ] = \sum_{# heads in X_{1}} Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot Pr [Z_{1} = A | X_{1}, θ]

$E[\# \text{ heads by coin }A|X_1,\theta] = \sum_{\#\text{ heads in }X_1} \Pr[Z_1 = A| X_1, \theta] = 5 \cdot \Pr[Z_1 = A| X_1, \theta]$ . Причина полягає в тому, що ви можете подумати про те, що була використана інша випадкова величина індикатора, якщо використовується A Обчислення розрахунку над змінними індикатора є простою ймовірністю цієї події.

— Ніколас Манкузо

Вибачте за повільну відповідь. Завдяки вам я тепер можу реально зрозуміти логіку двох прикладів монет, переглянувши вашу відповідь багато разів. Останнє, що я хочу запитати стосовно цього питання: Приклад, що починається зі сторінки 8 цього слайда cs.northwestern.edu/~ddowney/courses/395_Winter2010/em.ppt, показує, що в M-Step нам потрібно спочатку обчислити похідна функції лого-правдоподібності і використовувати її для максимального очікування. Чому чогось подібного у монетах не підкидається «М-кроки»? Оскільки ці кроки M не схожі на те, що вони максимально збільшують

— IcySnow

Pr [Z_{i} = A | X_{i}, θ] + Pr [Z_{i} = B | X_{i}, θ] = 1

$\Pr[Z_i=A|X_i,\theta]+\Pr[Z_i=B|X_i,\theta]=1$

i

$i$