Алгоритм ЕМ Практична задача

Це проблема практики для середньострокового іспиту. Проблема - приклад алгоритму ЕМ. У мене виникають проблеми з частиною (f). Я перераховую частини (а) - (д) для завершення, і якщо я помилився раніше.

Нехай - незалежні експоненціальні випадкові величини зі швидкістю . На жаль, фактичні значення не спостерігаються, і ми лише спостерігаємо, чи знаходяться значення в певні інтервали. Нехай , і для . Дані, що спостерігаються, складаються з .$X_1,\ldots,X_n$$\theta$$X$$X$$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$$G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$$G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$$j=1,\ldots,n$$(G_{1j},G_{2j},G_{3j})$

(a) Наведіть імовірність спостережуваних даних:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Надайте повну вірогідність даних

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) Отримати прогнозну щільність прихованої змінної$f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) Е-крок. Дайте функцію$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

де$N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Дайте вирази для для .$\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$$r=1,2,3$

Я перерахую свої результати, які, напевно, впевнені, що вони праві, але виведення цього питання буде досить довгим для цього вже тривалого питання:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

Це частина, на яку я застрягла, і це може бути через попередню помилку:

(f) М-крок. Знайдіть що максимізує$\theta$$Q(\theta,\theta^i)$

Із закону загальних очікувань у нас Therefor$\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Далі я повинен встановити це рівне нулю і вирішити для , але я намагався це дуже довго, і я не можу вирішити для !$\theta$$\theta$

Повна вірогідність даних не повинна включати G! Це просто повинна бути ймовірність коли є експоненціальними. Зауважте, що повноцінна ймовірність даних, як ви їх написали, спрощує експоненціальну ймовірність, оскільки лише однією з може бути 1. Залишивши групу в повній вірогідності даних, однак, ви заплутаєте вас згодом. $\theta$$X$$G_{rj}$$G$

Частина (d) повинна приймати очікування вірогідності повного журналу даних, а не вірогідності спостережуваного журналу даних.

Крім того, ви не повинні використовувати закон повного очікування! Нагадаємо, що G спостерігається і не є випадковим, тому вам слід виконувати лише одне з тих умовних очікувань для кожного . Просто замініть це умовне очікування терміном і виконайте M-крок.$X_j$$X_j^{(i)}$

На основі коментарів від @ jsk я спробую виправити свої помилки:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

вирішуючи для отримуємо$\theta$$\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$