Poisson ve negatif binom gerilimleri ne zaman aynı katsayılara uyar?

R, Poisson ve negatif binom (NB) regresyonlarında, kategorik fakat sürekli olmayan tahminler için daima aynı katsayılara uyduğunu farkettim.

Örneğin, burada kategorik bir yordayıcılığa sahip bir regresyon:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Poisson ve NB'nin farklı katsayılara uyduğu sürekli bir yordayıcı örneği:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(Tabii ki bunlar veri sayılmaz ve modeller anlamlı değildir ...)

Sonra öngörücüyü bir faktöre yeniden kodlarım ve iki model yine aynı katsayılara uyar:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Bununla birlikte, Joseph Hilbe'nin Negatif Binom Regresyonu , kategorik bir tahmin edenin , cinsiyetin, Poisson ( ) ve NB ( b = 0.881 ) tarafından biraz farklı katsayılara sahip olduğu bir örnek (6.3, s . 118-119 ) vermektedir. Dedi ki: “Poisson ve NB modelleri arasındaki insidans oranları oldukça benzer. Bu yakınlık göz önüne alındığında şaşırtıcı değildir a [tekabül eden 1 / θ sıfır R].”$b=0.883$$b=0.881$$\alpha$$1/\theta$

Bunu anlıyorum ama yukarıdaki örneklerde, summary(rs2)söyler sırasıyla 9.16 ve 7.93 olarak tahmin ediliyor.$\theta$

Peki neden katsayılar tamamen aynı? Ve neden sadece kategorik tahminciler için?

---

# 1 düzenle

İki ortogonal olmayan prediktör ile ilgili bir örnek. Aslında, katsayılar artık aynı değil:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Ve, bir başka tahminde bulunmak, modelin yeni tahminde sürekli olsa bile, farklı katsayılara uymasına neden olur. Yani, orijinal örneğimde yarattığım kukla değişkenlerin ortogonallığı ile ilgisi var mı?

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

GLM'lerin samimi, ancak genel bir özelliğini maksimum olasılığa uygun buldunuz . Sonuç, herkesin en basit hali olduğu zaman düşer: Tek bir parametreyi tek bir gözlemde kullanmak!

$\hat\mu_j = \bar y_j$$j$

$\log$

Daha fazla yapıya sahip bir parametrelendirme ile ilgilendiğimiz veya sürekli tahminlere bağlı olan bir varsayımla karşılaştığımızda, varsayılan hata yapısı, koşulların modellenmesi için kullanılan parametreler ve doğrusal olmayan fonksiyon ile ilgili olduğu için dağılımın ortalama-değişkenlik ilişkisi nedeniyle alakalı hale gelir. anlamına geliyor.

GLM'ler ve üstel dağılım aileleri: Çarpışma rotası

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

$\theta$$\nu$$\nu$

$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

$\theta$

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

$\bar y = \hat\mu$

$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

Sürekli tahminlerde bu kadar farklı olan ne?

Tahmin ediciler sürekli olduğunda veya kategorik olduklarında, ancak ortogonal bir forma indirgenemediklerinde, olasılık, artık ayrı bir parametreye bağlı olarak ayrı bir ortalama ile bireysel terimler haline gelmez. Bu noktada, hata yapısı ve bağlantı fonksiyonu yok devreye girer.

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

Bu şekilde, link işlevi ve varsayılan hata modeli tahminle alakalı hale gelir.

Örnek: Hata modeli (neredeyse) önemli değil

$k = 6$

$\log$

Tablodan, bu GLM'lerin bazıları ayrı veriler için, bazıları sürekli, bazıları da negatif olmayan veriler için olsalar da , parametre tahminlerinin aynı olduğunu görebiliriz .

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

$0$

Örnek: Link işlevi (neredeyse) farketmez

$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

Başlıktaki uyarı, basitçe ham tahminlerin link fonksiyonuna göre değişeceği, ancak ima edilen ortalama parametre tahminlerinin değişmeyeceği anlamına gelir.

R kodu

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

Burada neler olup bittiğini görmek için, ilk önce kesinti yapmadan regresyonu yapmak faydalı olacaktır, çünkü sadece bir yordayıcı ile kategorik bir gerileme kesişmesi anlamsızdır:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

Poisson ve negatif binom regresyonları ortalama parametrenin günlüğünü belirttiğinden, kategorik regresyon için, katsayıların üstelleştirilmesi size her kategori için gerçek ortalama parametreyi verecektir:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

Bu parametreler, farklı kategori değerleri üzerindeki gerçek araçlara karşılık gelir:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ $\lambda=\bar{x}$

$\text{log}(\lambda)$$\lambda$

$\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$