Sıfır şişirilmiş Poisson modelinin gizli değişken formülasyonu için MLE'leri hesaplamak için EM algoritmasını nasıl kullanırsınız?

Sıfır Poisson regresyon modeli bir numune için tanımlandığı şişirilmiş ile Y i = { 0 olasılığı ile p ı + ( 1 - s i ) E - λ ı k olasılığı ile ( 1 - p i ) e - λ i λ k i / k ! ve ayrıca λ$(y_1,\ldots,y_n)$

$$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$$ ve p = ( p 1 , … , p n ) tatmin eder$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$$\textbf{p} = (p_1, \dots, p_n)$

$$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$$

Sıfır şişirilmiş Poisson regresyon modelinin karşılık gelen log olasılığı

$$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$$

Burada, ve G tasarım matrisleridir. Bu matrisler, iki oluşturma işlemi için kullanmak istediği özelliklere bağlı olarak aynı olabilir. Bununla birlikte, aynı sayıda satıra sahiptirler.$\mathrm{B}$$\mathrm{G}$

$Z_i = 1$$Y_i$$Z_i = 0$$Y_i$

$$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$$

$$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$$ $z_i=0$$z_i=1$

$Z_i = 0$$Z_i = 1$

Yaşadığınız zorluğun kökü cümledir:

Daha sonra EM algoritmasını kullanarak ikinci log olasılığını en üst düzeye çıkarabiliriz.

$z_i$

$k^{th}$$z_i$$(k-1)^{th}$

$\lambda$$p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694 

1-zhat$\beta$$\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

$\mathbf{G}$$p_i$$\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Bunu gerçek veriler için yapmak istiyorsanız, sadece algoritmayı anlamak yerine, R paketleri zaten var; kütüphaneyi kullanan bir örnek http://www.ats.ucla.edu/stat/r/dae/zipoisson.htmpscl .

DÜZENLEME: Yaptığımız şeyin, eksik veri / gizli değişkenlerin beklenen değerleri ile tam veri günlüğü olasılığını en üst düzeye çıkarmak DEĞİL, tam veri günlüğü olasılığının beklenen değerini en üst düzeye çıkarmak olduğunu vurgulamalıyım. tam veri günlüğü olasılığı eksik verilerde doğrusaldır, burada olduğu gibi, iki yaklaşım aynıdır, ancak aksi halde değildir.