EM algoritması manuel olarak uygulandı

Ben elle EM algoritmayı uygulamak ve ardından sonuçlarına karşılaştırmak istediğiniz normalmixEMbir mixtoolspakette. Tabii ki, her ikisi de aynı sonuçlara yol açarsa mutlu olurum. Ana referans, Sonlu Karışım Modelleri olan Geoffrey McLachlan (2000) .

Genelde iki Gausslu karışım yoğunluğum var, log olabilirliği (McLachlan sayfa 48):

günlük L_{c} (Ψ) = Σ_{ben = 1}^{g} Σ_{j = 1}^{n} z_{ben j} {günlük π_{ben} + günlük f_{ben} (y_{ben}; θ_{ben})} .

$\log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n z_{ij}\{\log \pi_i + \log f_i(y_i;\theta_i)\}.$

z_{i j}

$z_{ij}$ olangözlem ile ilgili ise,^inciaksi halde, bileşen yoğunluğu. normal dağılım yoğunluğudur.

1

$1$

i

$i$

0

$0$

f_{i}

$f_i$

π

$\pi$ karışım oranıdır, bu nedenle

π_{1}

$\pi_1$ , bir gözlemin ilk Gauss dağılımından ve

π_{2}

$\pi_2$ , bir gözlemin ikinci Gauss dağılımından olma olasılığıdır.

D aşaması, hemen koşullu beklenti hesaplama:

S (Ψ; Ψ^{(0)}) = E_{Ψ (0)} {günlük L_{c} (| Ψ) | y} .

$Q(\Psi;\Psi^{(0)}) = E_{\Psi(0)}\{\log L_c(|\Psi)|y\}.$ sonuçta birkaç derivasyondan sonra yol açar (sayfa 49):

\begin{aligned} τ_{i} (y_{j}; Ψ^{(k)}) & = \frac{π_{i}^{(k)} f_{i} (y_{j}; θ_{i}^{(k)}}{f (y_{j}; Ψ^{(k)}} \\ = \frac{π_{i}^{(k)} f_{i} (y_{j}; θ_{i}^{(k)}}{\sum_{h = 1}^{g} π_{h}^{(k)} f_{h} (y_{j}; θ_{h}^{(k)})} \end{aligned}

$\begin{align} \tau_i(y_j;\Psi^{(k)}) &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{f(y_j;\Psi^{(k)}} \\[8pt] &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{\sum_{h=1}^g \pi_h^{(k)}f_h(y_j;\theta_h^{(k)})} \end{align}$ iki Gauss hastası durumunda (sayfa 82):

τ_{ben} (y_{j}; Ψ) = \frac{π_{ben} φ (y_{j}; μ_{ben}, Σ_{ben})}{Σ_{h = 1}^{g} π_{h} φ (y_{j}; μ_{h}, Σ_{h})}

$\tau_i(y_j;\Psi) = \frac{\pi_i \phi(y_j;\mu_i,\Sigma_i)}{\sum_{h=1}^g \pi_h\phi(y_j; \mu_h,\Sigma_h)}$ Kaşaması artık Q (sayfa 49) maksimize etmektir:

S (Ψ; Ψ^{(k)}) = Σ_{ben = 1}^{g} Σ_{j = 1}^{n} τ_{ben} (y_{j}; Ψ^{(k)}) {günlük π_{ben} + günlük f_{ben} (y_{j}; θ_{ben})} .

$Q(\Psi;\Psi^{(k)}) = \sum_{i=1}^g\sum_{j=1}^n\tau_i(y_j;\Psi^{(k)})\{\log \pi_i + \log f_i(y_j;\theta_i)\}.$ Bu, (iki Gauss durumunda) (sayfa 82):

\begin{aligned} μ_{ben}^{(k + 1)} & = \frac{Σ_{j = 1}^{n} τ_{ben j}^{(k)} y_{j}}{Σ_{j = 1}^{n} τ_{ben j}^{(k)}} \\ Σ_{ben}^{(k + 1)} & = \frac{Σ_{j = 1}^{n} τ_{ben j}^{(k)} (y_{j} - μ_{ben}^{(k + 1)}) (y_{j} - μ_{ben}^{(k + 1)})^{T}}{Σ_{j = 1}^{n} τ_{ben j}^{(k)}} \end{aligned}

$\begin{align} \mu_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}y_j}{\sum_{j=1}^n \tau_{ij}^{(k)}} \\[8pt] \Sigma_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}(y_j - \mu_i^{(k+1)})(y_j - \mu_i^{(k+1)})^T}{\sum_{j=1}^n \tau_{ij}^{(k)}} \end{align}$ ve bu (. 50 p) bilmek

π_{ben}^{(k + 1)} = \frac{Σ_{j = 1}^{n} τ_{ben} (y_{j}; Ψ^{(k)})}{n} (ben = 1, ..., g) .

$\pi_i^{(k+1)} = \frac{\sum_{j=1}^n \tau_i(y_j;\Psi^{(k)})}{n}\qquad (i = 1, \ldots, g).$ Bu E tekrar, E aşamaları kadar

L (Ψ^{(k + 1)}) - L (Ψ^{(k)})

$L(\Psi^{(k+1)})-L(\Psi^{(k)})$ küçüktür.

Bir R kodu yazmaya çalıştım (veriler burada bulunabilir ).

# EM algorithm manually
# dat is the data

# initial values
pi1       <-  0.5
pi2       <-  0.5
mu1       <- -0.01
mu2       <-  0.01
sigma1    <-  0.01
sigma2    <-  0.02
loglik[1] <-  0
loglik[2] <- sum(pi1*(log(pi1) + log(dnorm(dat,mu1,sigma1)))) + 
             sum(pi2*(log(pi2) + log(dnorm(dat,mu2,sigma2))))

tau1 <- 0
tau2 <- 0
k    <- 1

# loop
while(abs(loglik[k+1]-loglik[k]) >= 0.00001) {

  # E step
  tau1 <- pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2 <- pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))

  # M step
  pi1 <- sum(tau1)/length(dat)
  pi2 <- sum(tau2)/length(dat)

  mu1 <- sum(tau1*x)/sum(tau1)
  mu2 <- sum(tau2*x)/sum(tau2)

  sigma1 <- sum(tau1*(x-mu1)^2)/sum(tau1)
  sigma2 <- sum(tau2*(x-mu2)^2)/sum(tau2)

  loglik[k] <- sum(tau1*(log(pi1) + log(dnorm(x,mu1,sigma1)))) + 
               sum(tau2*(log(pi2) + log(dnorm(x,mu2,sigma2))))
  k         <- k+1
}


# compare
library(mixtools)
gm <- normalmixEM(x, k=2, lambda=c(0.5,0.5), mu=c(-0.01,0.01), sigma=c(0.01,0.02))
gm$lambda
gm$mu
gm$sigma

gm$loglik

Algoritma çalışmıyor, çünkü bazı gözlemler sıfır olma olasılığına sahip ve bunun günlüğü -Inf. Benim hatam nerede?

r expectation-maximization gaussian-mixture

— Stat Uzmanlığı Uzmanı
kaynak

Sorun istatistiksel bir sorun değil, sayısal bir sorun. Kodunuzdaki makine hassasiyetinden daha küçük olasılıklar için olasılıklar eklemelisiniz.

— JohnRos

neden mixtools işlevini elle doğrulanabilen çok basit bir örnekle çok fazla denemeye çalışmıyorsunuz? sonra, orada çalıştığını görürseniz, kodunuzu genelleştirin ve her adımda doğrulayın.

Yanıtlar:

Kaynak kodunda birkaç sorununuz var:

@Pat'ın işaret ettiği gibi, bu değer kolayca sonsuza gidebileceğinden log (dnorm ()) kullanmamalısınız. Logmvdnorm kullanmalısınız
Toplam kullandığınızda , sonsuz veya eksik değerleri kaldırmayı unutmayın
Döngü k değişkeniniz yanlış, loglik [k + 1] 'i güncellemeniz gerekir ancak loglik [k]' yı güncellemeniz gerekir
$\Sigma$ $\sigma$
$\tau_1$ $\tau_2$

Ayrıca, kaynak kodunuzda tam kodlar (örneğin loglik [] 'i nasıl başlattığınızı) koymanızı ve okumayı kolaylaştırmak için kodu girintili hale getirmenizi öneririm.

Sonuçta, mixtools paketini tanıttığınız için teşekkürler ve bunları gelecekteki araştırmamda kullanmayı planlıyorum.

Ayrıca referans için çalışma kodumu koydum:

# EM algorithm manually
# dat is the data
setwd("~/Downloads/")
load("datem.Rdata")
x <- dat

# initial values
pi1<-0.5
pi2<-0.5
mu1<--0.01
mu2<-0.01
sigma1<-sqrt(0.01)
sigma2<-sqrt(0.02)
loglik<- rep(NA, 1000)
loglik[1]<-0
loglik[2]<-mysum(pi1*(log(pi1)+log(dnorm(dat,mu1,sigma1))))+mysum(pi2*(log(pi2)+log(dnorm(dat,mu2,sigma2))))

mysum <- function(x) {
  sum(x[is.finite(x)])
}
logdnorm <- function(x, mu, sigma) {
  mysum(sapply(x, function(x) {logdmvnorm(x, mu, sigma)}))  
}
tau1<-0
tau2<-0
#k<-1
k<-2

# loop
while(abs(loglik[k]-loglik[k-1]) >= 0.00001) {
  # E step
  tau1<-pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2<-pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau1[is.na(tau1)] <- 0.5
  tau2[is.na(tau2)] <- 0.5

  # M step
  pi1<-mysum(tau1)/length(dat)
  pi2<-mysum(tau2)/length(dat)

  mu1<-mysum(tau1*x)/mysum(tau1)
  mu2<-mysum(tau2*x)/mysum(tau2)

  sigma1<-mysum(tau1*(x-mu1)^2)/mysum(tau1)
  sigma2<-mysum(tau2*(x-mu2)^2)/mysum(tau2)

  #  loglik[k]<-sum(tau1*(log(pi1)+log(dnorm(x,mu1,sigma1))))+sum(tau2*(log(pi2)+log(dnorm(x,mu2,sigma2))))
  loglik[k+1]<-mysum(tau1*(log(pi1)+logdnorm(x,mu1,sigma1)))+mysum(tau2*(log(pi2)+logdnorm(x,mu2,sigma2)))
  k<-k+1
}

# compare
library(mixtools)
gm<-normalmixEM(x,k=2,lambda=c(0.5,0.5),mu=c(-0.01,0.01),sigma=c(0.01,0.02))
gm$lambda
	gm$mu
gm$sigma

gm$loglik

Historgram Histogram

— zhanxw
kaynak

@zahnxw Cevabınız için teşekkürler, bu benim kodumun yanlış olduğu anlamına mı geliyor? Yani basi fikri çalışmıyor?

— Stat Tistician

"Ayrıca, kaynak kodunuza tam kodlar (örneğin loglik [] nasıl başlatıldığını) koymanızı ve okumayı kolaylaştırmak için kodu girintili hale getirmenizi öneririm." Peki bu benim kodum mu? loglik [], gönderdiğim kodda beyan ettiğim gibi tanımlanıyor mu?

— Stat Tistician

@StatTistician fikri doğrudur, ancak uygulamanın kusurları vardır. Örneğin, yetersiz akışı düşünmediniz. Ayrıca, k değişkenini karıştırmak kafa karıştırıcıdır, önce loglik [1] ve loglik [2] 'yi ayarlarken while döngüsüne girdikten sonra loglik [1]' i tekrar ayarlarsınız. Bu doğal bir yol değil. Loglik [] 'nin başlatılmasıyla ilgili önerim loklik <- rep(NA, 100), loglik [1], loglik [2] ... loglik [100]' ü önceden ayıracak kod: anlamına gelir . Bu soruyu gündeme getiriyorum çünkü orijinal kodunuzda, loglik ayrışmasını bulamadım, belki kod yapıştırma sırasında kesildi?

— zhanxw

Aşağıda yayınladığım gibi: Yardımınız için teşekkürler, ancak bu konuyu bırakıyorum, çünkü bu benim için çok gelişmiş.

— Stat Tistician

Verilerin hangi kısmının hangi karışıma ait olduğunu belirlemenin bir yolu var mı?

— Kardinal

.Rar dosyanızı açmaya çalışırken bir hata almaya devam ediyorum, ancak bu sadece aptalca bir şey yapıyor olabilir.

$f(y;\theta)$ $\exp(-0.5(y-\mu)^2/\sigma^2)$ $\mu$ $y$ $\tau$

Sorun buysa, bazı olası çözümler vardır:

$\tau$

$\tau \log(f(y|\theta))$

değerlendirmek

$\log \left( f(y|\theta)^\tau \right)$

$f(y|\theta)$ $\tau$ $\approx 0$

$0 \log (0) = 0 (-Inf) = NaN$

ama tau taşındıkça

$\log \left( 0^0\right) = \log(1) = 0$

R'nin değerlendirdiğini varsayarak $0^0 = 1$ (Matlab kullanmaya meyilli olduğumdan emin değilim, bilmiyorum)

Başka bir çözüm, logaritma içindeki şeyleri genişletmektir. Doğal logaritma kullandığınızı varsayarsak:

$\tau \log(f(y|\theta))$

$= \tau \log(\exp(-0.5(y-\mu)^2/\sigma^2)/\sqrt{2\pi\sigma^2})$

$= -0.5\tau \log(2 \pi\sigma^2) - 0.5 \tau \frac{(y-\mu)^2}{\sigma^2}$ .

Matematiksel olarak aynı, ancak büyük bir negatif güç hesaplamaktan kaçındığınız için kayan nokta hatalarına daha dayanıklı olmalıdır. Bu, yerleşik norm değerlendirme işlevini artık kullanamayacağınız anlamına gelir, ancak bu bir sorun değilse, muhtemelen daha iyi cevaptır. Örneğin, diyelim ki

$-0.5\frac{(y-\mu)^2}{\sigma^2} = -0.5*40^2 = -800$ .

Bunu jsut'un önerdiği gibi değerlendir ve -800 elde et. Ancak, matlab'da eğer günlüğü alırsak, $\log(\exp(-800)) = \log(0) = -Inf$ .

— basmakalıp
kaynak

mh, dürüst olmak gerekirse: Bu şeyi çalıştıracak kadar iyi değilim. İlgilendiğim şey: Algoritmamla mixtools paketinin uygulanan sürümü ile aynı sonucu alabilir miyim. Ama benim açımdan, bu, ay istiyor gibi görünüyor. Ama bence cevabına çaba gösterersin, bu yüzden kabul edeceğim! Teşekkürler!

— Stat Tistician