Sıfır şişirilmiş Poisson veya sıfır şişirilmiş negatif binom için “sapma” ölçüsü mü?

D = 2 * (doymuş modelin log-olasılığı eksi modelin log-olasılığı) olarak tanımlanan ölçek sapması genellikle GLM modellerinde uyum iyiliğinin bir ölçüsü olarak kullanılır. [D (null model) - D (takılı model)] / D (null model) olarak tanımlanan açıklanan yüzde sapma, bazen doğrusal regresyonun R-karesi için GLM analogu olarak da kullanılır. ZIP ve ZINB dağılımlarının üstel dağılım ailesinin bir parçası olmadığı gerçeğinin yanı sıra, açıklanan ölçekli sapma ve yüzde sapmanın neden sıfır şişirilmiş modellemede kullanılmadığını anlamakta zorlanıyorum. Herkes bu konuda biraz ışık tutabilir veya yararlı referanslar sağlayabilir? Şimdiden teşekkürler!

goodness-of-fit zero-inflation deviance

— aleanjeo
kaynak

çok iyi bir soru - Bunu da bilmek istiyorum

— user2673238

Sapma bir GLM konseptidir, ZIP ve ZINB modelleri glm değildir, ancak GLM olan sonlu dağılım karışımları olarak formüle edilir ve bu nedenle EM algoritması ile kolayca çözülebilir.

Bu notlar sapma teorisini kısaca açıklar. Bu notları okursanız, Poisson regresyonu için doymuş modelin log-olasılık olduğuna dair kanıt görürsünüz.

ℓ (λ_{s}) = \sum_{i = 1, \forall y_{i} \neq 0}^{n} [y_{i} l o g (y_{i}) - y_{i} - l o g (y_{i}!)]

$\ell(\lambda_s)= \sum_{i=1, \forall y_i\neq 0}^n \left[ y_ilog(y_i)-y_i -log(y_i!)\right]$

eklenti tahminlerinden edilen . $y_i =\hat{\lambda}_i$

Şimdi ZIP olasılığına devam edeceğim çünkü matematik daha basit, ZINB için benzer sonuçlar var. Ne yazık ki ZIP için Poisson gibi basit bir ilişki yoktur. inci gözlemler log-olabilirlik olduğunu $i$

ℓ_{i} (ϕ, λ) = Z_{i} l o g (ϕ + (1 - ϕ) e^{- λ}) + (1 - Z_{i}) [- λ + y_{i} l o g (λ) - l o g (y_{i}!)] .

$\ell_i(\phi, \lambda)=Z_ilog(\phi+(1-\phi)e^{-\lambda})+ (1-Z_i)\left[-\lambda +y_ilog(\lambda) -log(y_i!)\right].$

böylece wrt kısmi türevleri almak gerekiyordu bu çözmek için uyulmaması hem ve , 0 denklemleri ayarlayın ve sonra için çözmek ve . Buradaki zorluk vardır değerleri, bunlar geçebiliriz veya içine ve gözlemleyerek olmadan mümkün değildir koymak için hangi içine gözlemler. Ancak, değerini bilseydik bir ZIP modeline ihtiyacımız olmazdı çünkü eksik verilerimiz olmazdı. Gözlenen veriler EM formalizmindeki "tam veri" olasılığına karşılık gelir. $Z_i$ $\lambda$ $\phi$ $\lambda$ $\phi$ $y_i=0$ $\hat{\lambda}$ $\hat{\phi}$ $Z_i$ $y_i=0$ $Z_i$

Makul olabilecek bir yaklaşım , tam veri günlüğü olasılığının beklentisi ile çalışmak , kaldıran ve bir beklentiyle yer değiştiren ile çalışmaktır. EM algoritmasının en son güncellemelerle hesapladığı kısmın (E adımı) bir kısmı. sapmaya karşı bu yaklaşımı inceleyen literatürden habersizim . $Z_i$ $\mathbb{E}(\ell_i(\phi, \lambda))$ $Z_i$ $expected$

Ayrıca, önce bu soru soruldu, bu yazıyı cevapladım. Bununla birlikte, aynı konu hakkında Gordon Smyth'in güzel bir yorumu ile başka bir soru daha var: sıfır şişirilmiş bileşik poisson modeli için sapma , aynı yanıttan bahsettiği sürekli veri (R) (bu, ben yapacağım yorumun bir detayıdır söylemek) artı diğer yazıya yorumlarda bahsettikleri okumak isteyebilirsiniz. (sorumluluk reddi, atıfta bulunulan makaleyi okumadım)

— Lucas Roberts
kaynak