Як ви використовуєте алгоритм ЕМ для обчислення MLE для латентної змінної рецептури нульової надутої моделі Пуассона?

Нульова завищені Пуассона моделі регресії визначається для зразка по і далі передбачається, що параметри та задовольняють $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

Відповідна ймовірність реєстрації нульової завищеної регресії моделі Пуассона -

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

Тут і - матриці проектування. Ці матриці можуть бути однаковими, залежно від особливостей, які бажає використовувати для двох генеруючих процесів. Однак у них однакова кількість рядків. $\mathrm{B}$ $\mathrm{G}$

Якщо припустити, що ми могли спостерігати $Z_i = 1$ коли $Y_i$ - з ідеального, нульового стану, а $Z_i = 0$ коли $Y_i$ - зі стану Пуассона, то ймовірність лога була б

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ Перші два терміни - це втрата в логістичній регресії для відокремлення

z_{i} = 0

$z_i=0$ від

z_{i} = 1

$z_i=1$ . Другий термін - це регресія до точок, породжених процесом Пуассона.

Але хіба латентні змінні не помітні? Мета - максимізувати перші ймовірності журналу. Але ми маємо ввести приховані змінні та отримати нову ймовірність ймовірності. Тоді, використовуючи алгоритм ЕМ, ми максимізуємо ймовірність другого журналу. Але це передбачає, що ми знаємо, що або або ? $Z_i = 0$ $Z_i = 1$

— Дамієн
джерело

Що таке ? Також великі частини цього питання, як видається, значною мірою вирізані та вставлені з попереднього, іншого питання від @Robby. Це ти?

f

$f$

— Макрос

@Macro: Макрос так, це я. Я не впевнений, що таке . Папір ніколи не говорив.

f

$f$

— Демієн

Корінь труднощів, які виникають у вас, полягає у реченні:

Тоді, використовуючи алгоритм ЕМ, ми максимізуємо ймовірність другого журналу.

Як ви зауважили, ви не можете. Натомість, ви максимально збільшуєте очікуване значення ймовірності другого журналу (відомого як "ймовірність повного журналу даних"), де очікуване значення приймається за . $z_i$

Це призводить до ітеративної процедури, де при ітерації ви обчислюєте очікувані значення урахуванням оцінок параметра з ітерації ( (це відоме як "Е-крок" ",) замініть їх на повний вірогідність журналу даних (див. EDIT нижче, чому ми можемо це зробити в цьому випадку), і максимізуйте це щодо параметрів, щоб отримати оцінки для поточної ітерації (" М-крок " .) $k^{th}$ $z_i$ $(k-1)^{th}$

Вірогідність журналу повних даних для нульового завищеного Пуассона в найпростішому випадку - два параметри, скажімо і - дозволяє істотно спростити, коли мова йде про М-крок, і це певною мірою переходить у вашу форму. Я покажу вам, як це працює в простому випадку через якийсь код R, щоб ви могли побачити суть цього. Я не буду максимально спрощувати, оскільки це може призвести до втрати ясності, коли ви думаєте про свою проблему: $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

У вашому випадку на кожному кроці ви будете робити зважену пуассонову регресію, де ваги повинні 1-zhatотримувати оцінки і, отже, , а потім максимізувати: $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

стосовно вектора коефіцієнтів вашої матриці щоб отримати оцінки . Очікувані значення , знову обчислюються при кожній ітерації. $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Якщо ви хочете зробити це для реальних даних, на відміну від просто розуміння алгоритму, пакети R вже існують; ось приклад http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm за допомогою psclбібліотеки.

EDIT: Я повинен підкреслити, що те, що ми робимо, - це максимізація очікуваного значення ймовірності журналу повних даних, НЕ максимізація ймовірності журналу повних даних із очікуваними значеннями відсутніх змінних даних / латентних змінних. Як це трапляється, якщо вірогідність журналу повних даних лінійна у відсутніх даних, як і тут, два підходи однакові, але в іншому випадку вони не є.

— джебмен
джерело

@Cokes, ви повинні додавати цю інформацію як свою власну додаткову відповідь, а не змінювати існуючу відповідь. Цю редакцію не слід було схвалити.

— gung - Відновити Моніку