Чому використовується алгоритм максимізації очікування?

22

З того, що я мало знаю, алгоритм ЕМ може бути використаний для пошуку максимальної ймовірності, коли встановлення на нуль часткових похідних стосовно параметрів вірогідності дає набір рівнянь, які неможливо вирішити аналітично. Але чи потрібен алгоритм ЕМ замість того, щоб використовувати якусь чисельну техніку, щоб спробувати знайти максимум ймовірності щодо обмеження набору згаданих рівнянь.

expectation-maximization

— користувач782220
джерело

20

Питання легітимне, і у мене була така ж плутанина, коли я вперше вивчив алгоритм ЕМ.

Загалом, алгоритм ЕМ визначає ітераційний процес, який дозволяє максимально збільшити ймовірність функції параметричної моделі в тому випадку, коли деякі змінні моделі є (або трактуються як) "прихованими" або невідомими.

Теоретично з цією ж метою можна використовувати алгоритм мінімізації, щоб чисельно знайти максимум функції ймовірності для всіх параметрів. Однак у реальній ситуації ця мінімізація буде такою:

набагато більш обчислювально
менш міцний

Дуже поширеним застосуванням ЕМ-методу є встановлення моделі суміші. У цьому випадку з огляду на змінну, яка присвоює кожному зразку одному з компонентів як "прихованих" змінних, проблема значно спрощується.

$s = \{s_i\}$

- \log L (x, θ) = - \log [a_{1} \exp (\frac{(x - μ_{1})^{2}}{2 σ_{1}^{2}}) + a_{2} \exp (\frac{(x - μ_{2})^{2}}{2 σ_{2}^{2}})]

$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$

$\mu_k$ $\sigma_k$ $-\log \mathcal{L}(x,\theta)$ .

— user2304916
джерело

12

$X = (X_{1},...,X_{n})$ $f_{X|\Theta}(x|\theta)$

l (θ; X) = l o g f_{X | Θ} (X | θ)

$l(\theta;X) = log f_{X|\Theta}(X|\theta)$

X

$X$

Y

$Y$

Z

$Z$

X = (Y, Z)

$X=(Y,Z)$

l_{o b s} (θ, Y) = l o g \int f_{X | Θ} (Y, z | θ) ν_{z} (d z)

$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$

l_{o b s} (θ, Y)

$l_{obs}(\theta,Y)$

i

$i$

(i + 1)^{t h}

$(i + 1)^{th}$

Q (θ | θ^{(i)}) = E_{θ^{(i)}} [l (θ; X | Y]

$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$

θ^{(i)}

$\theta^{(i)}$

Θ

$\Theta$

i^{t h}

$i^{th}$

Q (θ | θ^{(i)})

$Q(\theta|\theta^{(i)})$

θ

$\theta$

θ^{(i + 1)} = m a x Q (θ | θ^{i})

$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ . Потім ви повторюєте ці кроки, поки метод не наблизиться до якогось значення, яке буде вашою оцінкою.

Якщо вам потрібна додаткова інформація про метод, його властивості, докази чи застосування, просто перегляньте відповідну статтю Wiki .

— Енді
джерело

1

+1 ... ЕМ не тільки для випадку пропущених значень.

— Glen_b -Встановити Моніку

@Andy: Навіть розглядаючи випадок відсутніх даних, я все ще не розумію, чому використання загальних чисельних методів знайти точку, коли часткові похідні дорівнюють нулю, не працює.

— користувач782220

Дякую Глен, я знав це лише в контексті відсутніх значень / прихованих змінних. @ user782220: коли ви не можете мати рішення закритої форми похідної вірогідності журналу, встановлення похідної, рівної нулю, не визначить ваш параметр. Ось чому ви використовуєте числові методи в цьому випадку. Для пояснення та прикладу дивіться лекцію тут: people.stat.sfu.ca/~raltman/stat402/402L5.pdf

— Енді

1

ЕМ використовується, тому що часто неможливо або неможливо безпосередньо обчислити параметри моделі, що максимально збільшує ймовірність набору даних, що дається для цієї моделі.

— TheGrimmScientist
джерело