Алгоритм ЕМ реалізований вручну

Я хочу реалізувати алгоритм EM вручну , а потім порівняти його з результатами normalmixEMз mixtoolsпакета. Звичайно, я був би радий, якщо вони обоє призведуть до однакових результатів. Основна довідка - Джеффрі Маклахлан (2000), Моделі кінцевих сумішей .

У мене щільність суміші двох гауссів, загалом вигляд, імовірність журналу визначається (Маклаклан, сторінка 48):

$$\log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n z_{ij}\{\log \pi_i + \log f_i(y_i;\theta_i)\}.$$ z i j 1 i є , якщо спостереження було від ^{- го} компонента щільності, в іншому випадку . щільність нормального розподілу. являє собою суміш пропорції, так є ймовірність того , що спостереження з першим гауссова розподілу і є ймовірність того , що спостереження від другого розподілу Гаусса.$z_{ij}$$1$$i$$0$$f_i$$\pi$$\pi_1$$\pi_2$

Е крок тепер, обчислення умовного очікування:

$$Q(\Psi;\Psi^{(0)}) = E_{\Psi(0)}\{\log L_c(|\Psi)|y\}.$$ що призводить після декількох результатів до результату (стор. 49):

$$\begin{align} \tau_i(y_j;\Psi^{(k)}) &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{f(y_j;\Psi^{(k)}} \\[8pt] &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{\sum_{h=1}^g \pi_h^{(k)}f_h(y_j;\theta_h^{(k)})} \end{align}$$ у випадку двох гауссів (стор. 82):

$$\tau_i(y_j;\Psi) = \frac{\pi_i \phi(y_j;\mu_i,\Sigma_i)}{\sum_{h=1}^g \pi_h\phi(y_j; \mu_h,\Sigma_h)}$$ Теперкрок M - це максимізація Q (стор. 49):

$$Q(\Psi;\Psi^{(k)}) = \sum_{i=1}^g\sum_{j=1}^n\tau_i(y_j;\Psi^{(k)})\{\log \pi_i + \log f_i(y_j;\theta_i)\}.$$ Це призводить до (у випадку двох гауссів) (стор. 82):

$$\begin{align} \mu_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}y_j}{\sum_{j=1}^n \tau_{ij}^{(k)}} \\[8pt] \Sigma_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}(y_j - \mu_i^{(k+1)})(y_j - \mu_i^{(k+1)})^T}{\sum_{j=1}^n \tau_{ij}^{(k)}} \end{align}$$ і ми знаємо це (стор. 50)

$$\pi_i^{(k+1)} = \frac{\sum_{j=1}^n \tau_i(y_j;\Psi^{(k)})}{n}\qquad (i = 1, \ldots, g).$$ Повторюємо кроки E, M, поки$L(\Psi^{(k+1)})-L(\Psi^{(k)})$ невеликий.

Я спробував написати R-код (дані можна знайти тут ).

# EM algorithm manually
# dat is the data

# initial values
pi1       <-  0.5
pi2       <-  0.5
mu1       <- -0.01
mu2       <-  0.01
sigma1    <-  0.01
sigma2    <-  0.02
loglik[1] <-  0
loglik[2] <- sum(pi1*(log(pi1) + log(dnorm(dat,mu1,sigma1)))) + 
             sum(pi2*(log(pi2) + log(dnorm(dat,mu2,sigma2))))

tau1 <- 0
tau2 <- 0
k    <- 1

# loop
while(abs(loglik[k+1]-loglik[k]) >= 0.00001) {

  # E step
  tau1 <- pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2 <- pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))

  # M step
  pi1 <- sum(tau1)/length(dat)
  pi2 <- sum(tau2)/length(dat)

  mu1 <- sum(tau1*x)/sum(tau1)
  mu2 <- sum(tau2*x)/sum(tau2)

  sigma1 <- sum(tau1*(x-mu1)^2)/sum(tau1)
  sigma2 <- sum(tau2*(x-mu2)^2)/sum(tau2)

  loglik[k] <- sum(tau1*(log(pi1) + log(dnorm(x,mu1,sigma1)))) + 
               sum(tau2*(log(pi2) + log(dnorm(x,mu2,sigma2))))
  k         <- k+1
}


# compare
library(mixtools)
gm <- normalmixEM(x, k=2, lambda=c(0.5,0.5), mu=c(-0.01,0.01), sigma=c(0.01,0.02))
gm$lambda
gm$mu
gm$sigma

gm$loglik

Алгоритм не працює, оскільки деякі спостереження мають ймовірність нуля і журнал цього є -Inf. Де моя помилка?

У вихідного коду є кілька проблем:

1. Як зазначав @Pat, ви не повинні використовувати log (dnorm ()), оскільки це значення може легко перейти до нескінченності. Вам слід використовувати logmvdnorm

2. Коли ви використовуєте суму , пам’ятайте про видалення нескінченних чи відсутніх значень

3. Якщо ви цитуєте змінну k неправильно, вам слід оновити loglik [k + 1], але ви оновите loglik [k]

4. Початкові значення для вашого методу та mixtools різні. Ви використовуєте у своєму методі, але використовуєте для mixtools (тобто стандартне відхилення від посібника з mixtools).$\Sigma$$\sigma$

5. Ваші дані не схожі на нормальну суміш (перевірте гістограму, яку я накреслив наприкінці). І один компонент суміші має дуже малий sd, тому я довільно додав рядок, щоб встановити та рівними для деяких крайніх зразків. Я додаю їх просто для того, щоб переконатися, що код може працювати.$\tau_1$$\tau_2$

Я також пропоную вам покласти цілі коди (наприклад, як ви ініціалізуєте loglik []) у свій вихідний код та відступити його, щоб полегшити його читання.

Зрештою, дякую за представлення пакету mixtools , і я планую використовувати їх у своїх майбутніх дослідженнях.

Я також ставлю свій робочий код для вашої довідки:

# EM algorithm manually
# dat is the data
setwd("~/Downloads/")
load("datem.Rdata")
x <- dat

# initial values
pi1<-0.5
pi2<-0.5
mu1<--0.01
mu2<-0.01
sigma1<-sqrt(0.01)
sigma2<-sqrt(0.02)
loglik<- rep(NA, 1000)
loglik[1]<-0
loglik[2]<-mysum(pi1*(log(pi1)+log(dnorm(dat,mu1,sigma1))))+mysum(pi2*(log(pi2)+log(dnorm(dat,mu2,sigma2))))

mysum <- function(x) {
  sum(x[is.finite(x)])
}
logdnorm <- function(x, mu, sigma) {
  mysum(sapply(x, function(x) {logdmvnorm(x, mu, sigma)}))  
}
tau1<-0
tau2<-0
#k<-1
k<-2

# loop
while(abs(loglik[k]-loglik[k-1]) >= 0.00001) {
  # E step
  tau1<-pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2<-pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau1[is.na(tau1)] <- 0.5
  tau2[is.na(tau2)] <- 0.5

  # M step
  pi1<-mysum(tau1)/length(dat)
  pi2<-mysum(tau2)/length(dat)

  mu1<-mysum(tau1*x)/mysum(tau1)
  mu2<-mysum(tau2*x)/mysum(tau2)

  sigma1<-mysum(tau1*(x-mu1)^2)/mysum(tau1)
  sigma2<-mysum(tau2*(x-mu2)^2)/mysum(tau2)

  #  loglik[k]<-sum(tau1*(log(pi1)+log(dnorm(x,mu1,sigma1))))+sum(tau2*(log(pi2)+log(dnorm(x,mu2,sigma2))))
  loglik[k+1]<-mysum(tau1*(log(pi1)+logdnorm(x,mu1,sigma1)))+mysum(tau2*(log(pi2)+logdnorm(x,mu2,sigma2)))
  k<-k+1
}

# compare
library(mixtools)
gm<-normalmixEM(x,k=2,lambda=c(0.5,0.5),mu=c(-0.01,0.01),sigma=c(0.01,0.02))
gm$lambda
	gm$mu
gm$sigma

gm$loglik

Історіграма

Я постійно отримую помилку при спробі відкрити ваш .rar файл, але це може бути просто я роблю щось нерозумно.

$f(y;\theta)$$\exp(-0.5(y-\mu)^2/\sigma^2)$$\mu$$y$$\tau$

Якщо це проблема, є кілька можливих рішень:

$\tau$

$\tau \log(f(y|\theta))$

оцінити

$\log \left( f(y|\theta)^\tau \right)$

$f(y|\theta)$$\tau$$\approx 0$

• $0 \log (0) = 0 (-Inf) = NaN$

але з тау переїхав ти отримуєш

• $\log \left( 0^0\right) = \log(1) = 0$

$0^0 = 1$

Ще одне рішення - розширити вміст всередині логарифму. Припустимо, що ви використовуєте природні логарифми:

$\tau \log(f(y|\theta))$

$= \tau \log(\exp(-0.5(y-\mu)^2/\sigma^2)/\sqrt{2\pi\sigma^2})$

$= -0.5\tau \log(2 \pi\sigma^2) - 0.5 \tau \frac{(y-\mu)^2}{\sigma^2}$

Математично те саме, але має бути більш стійким до помилок з плаваючою комою, оскільки ви уникали обчислення великої негативної сили. Це означає, що ви більше не можете використовувати вбудовану функцію оцінки норми, але якщо це не проблема, це, мабуть, краща відповідь. Наприклад, скажімо, у нас ситуація, де

$-0.5\frac{(y-\mu)^2}{\sigma^2} = -0.5*40^2 = -800$

$\log(\exp(-800)) = \log(0) = -Inf$