GLM'deki yarı Poisson neden özel bir negatif binom vakası olarak değerlendirilmiyor?

Genelleştirilmiş doğrusal modelleri aşırı dağılmış olabilir veya olmayabilir saymak veri bazı kümeleri uydurmaya çalışıyorum. Burada geçerli olan iki kanonik dağılım, EV ve varyans ile Poisson ve Negatif Binom (Negbin)$\mu$

$Var_P = \mu$

$Var_{NB} = \mu + \frac{\mu^2}{\theta}$

glm(..,family=poisson)ve glm.nb(...)sırasıyla R kullanılarak takılabilir . quasipoissonAnladığım kadarıyla aynı EV ve varyans ile ayarlanmış bir Poisson olan aile de var

$Var_{QP} = \phi\mu$ ,

yani Poisson ve Negbin arasında bir yere düşmek. Quasipoisson ailesi ile ilgili temel sorun, bunun için uygun bir olasılık olmaması ve bu nedenle çok fazla istatistiksel test ve uyum önleminin (AIC, LR vb.) Bulunmamasıdır.

QP ve Negbin varyanslarını karşılaştırırsanız, \ phi = 1 + \ frac {\ mu} {\ theta} koyarak bunları eşitleyebileceğinizi fark edebilirsiniz $\phi = 1 + \frac{\mu}{\theta}$. Bu mantığa devam ederek, quasipoisson dağılımını Negbin'in özel bir örneği olarak ifade etmeye çalışabilirsiniz:

$QP\,(\mu,\phi) = NB\,(\mu,\theta = \frac{\mu}{\phi-1})$ ,

yani $\theta$ lineer olarak bağımlı \ mu olan bir Negbin $\mu$. Yukarıdaki formüle göre rastgele bir sayı dizisi oluşturarak ve bunu ile uyarak bu fikri doğrulamaya çalıştım glm:

#fix parameters

phi = 3
a = 1/50
b = 3
x = 1:100

#generating points according to an exp-linear curve
#this way the default log-link recovers the same parameters for comparison

mu = exp(a*x+b) 
y = rnbinom(n = length(mu), mu = mu, size = mu/(phi-1)) #random negbin generator

#fit a generalized linear model y = f(x)  
glmQP = glm(y~x, family=quasipoisson) #quasipoisson
glmNB = glm.nb(y~x) #negative binomial

> glmQP

Call:  glm(formula = y ~ x, family = quasipoisson)

Coefficients:
(Intercept)            x  
    3.11257      0.01854  
(Dispersion parameter for quasipoisson family taken to be 3.613573)

Degrees of Freedom: 99 Total (i.e. Null);  98 Residual
Null Deviance:      2097 
Residual Deviance: 356.8    AIC: NA

> glmNB

Call:  glm.nb(formula = y ~ x, init.theta = 23.36389741, link = log)

Coefficients:
(Intercept)            x  
    3.10182      0.01873  

Degrees of Freedom: 99 Total (i.e. Null);  98 Residual
Null Deviance:      578.1 
Residual Deviance: 107.8    AIC: 824.7

Her ikisi de parametreleri yeniden üretir ve quasipoisson \ phi için 'makul' bir tahmin verir $\phi$. Artık quasipoisson için bir AIC değeri de tanımlayabiliriz:

df = 3 # three model parameters: a,b, and phi
phi.fit = 3.613573 #fitted phi value copied from summary(glmQP)
mu.fit = glmQP$fitted.values 

#dnbinom = negbin density, log=T returns log probabilities
AIC = 2*df - 2*sum(dnbinom(y, mu=mu.fit, size = mu.fit/(phi.fit - 1), log=T))
> AIC
[1] 819.329

( Nesnede bulamadığım için, değerini el ile kopyalamak zorunda kaldım )$\phi$summary(glmQP)glmQP

Yana , bu quasipoisson, tahmin edileceği üzere, daha iyi bir uyum olduğuna işaret edecek; en azından yapması gerekeni yapar ve bu nedenle bir quasipoisson'un AIC'si (ve buna bağlı olarak olasılıkla) için makul bir tanım olabilir. O zaman bana bırakılan büyük sorular A I C Q $AIC_{QP} < AIC_{NB}$$AIC_{QP}$

1. Bu fikir mantıklı mı? Doğrulamam döngüsel muhakemeye mi dayanıyor?
2. İyi kurulmuş bir konudan eksik görünen bir şeyi 'icat eden' herkes için ana soru: eğer bu fikir mantıklıysa, neden zaten uygulanmamıştır glm?

Düzenleme: şekil eklendi

Yarı-Poisson tam maksimum olabilirlik (ML) modeli değil, yarı-ML modeli. Sadece katsayıları tahmin etmek için Poisson modelinden tahmin fonksiyonunu (veya skor fonksiyonunu) kullanırsınız ve ardından çıkarım yapmak için uygun standart hatalar (veya tam bir kovaryans matrisi) elde etmek için belirli bir varyans fonksiyonu kullanırsınız. Bu nedenle, glm()tedarik etmiyor ve / logLik()veya AIC()burada vb.

size$\theta_i$$\mu_i$

Hiçbir önsavının (sadece bir yolunu kesmek) NB1 parametrizasyonları ve kullandığı NB2 parametrizasyonları varsa MASSbireyin glm.nb()çakışmaktadır. Regresörler ile farklılık gösterirler. İstatistik literatüründe NB2 parametrelendirmesi daha sık kullanılır, ancak bazı yazılım paketleri de NB1 sürümünü sunar. Örneğin, R'de gamlsspaketi yapmak için kullanabilirsiniz gamlss(y ~ x, family = NBII). Biraz karışıklığa sebep Not gamlsskullanan NBINB2 parametreye ve NBIINB1 için. (Ancak jargon ve terminoloji tüm topluluklarda birleşik değildir.)

O zaman elbette NB1 varsa neden yarı-Poisson kullanıyorsunuz? Hala ince bir fark var: Birincisi yarı-ML kullanır ve kare sapma (veya Pearson) kalıntılarından dağılımdan tahmini alır. İkincisi tam ML kullanır. Pratikte, fark genellikle büyük değildir, ancak her iki modeli kullanma motivasyonları biraz farklıdır.