Negatif bir binom regresyonundaki Pearson kalıntıları neden bir poisson regresyonundan daha küçüktür?

Bu veriler var:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

Poisson regresyonu yaptım

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

Ve olumsuz bir binom regresyonu:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

Sonra poisson regresyonu için dağılım istatistiklerini hesapladım:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

Ve negatif binom regresyonu:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

DENKLEMLERİ KULLANMADAN, negatif binomiyal regresyon için dağılım istatistiğin neden poisson regresyonu için dağılım istatistiğinden önemli ölçüde daha küçük olduğunu açıklayan var mı?

— luciano
kaynak

Yanıtlar:

Bu oldukça basittir, ancak "denklem kullanmadan" önemli bir handikaptır. Bunu kelimelerle açıklayabilirim, ama bu kelimeler mutlaka denklemleri yansıtacaktır. Umarım bu sizin için kabul edilebilir / hala değerlidir. (İlgili denklemler zor değildir.)

Birkaç çeşit kalıntı vardır. Ham artıklar , gözlemlenen yanıt değerleri (sizin durumunuzda counts) ve modelin öngörülen yanıt değerleri arasındaki farktır . Pearson kalıntıları bunları standart sapmaya (kullandığınız genelleştirilmiş doğrusal modelin belirli sürümü için varyans fonksiyonunun kare kökü) böler.

Poisson dağılımı ile ilişkili standart sapma negatif binomialdan daha küçüktür . Böylece, daha büyük bir paydaya bölündüğünüzde, bölüm daha küçük olur.

Ek olarak, negatif binomial davanız için daha uygundur, çünkü countspopülasyonunuzda üniforma olarak dağıtılacaksınız. Yani, varyansları ortalamalarına eşit olmayacaktır.

— gung - Monica'yı eski durumuna döndürün
kaynak

OP matematiksel olmayan bir açıklama istemesine rağmen, yine de bu cevap için matematiksel (veya aynı derecede titiz ve açık) bir gerekçe görmek güzel olurdu. Soruyu okuduğumda sezgim şuydu: "Poisson, NB'nin (sınırlayıcı) özel bir durumu olduğundan ve NB'nin daha fazla parametreye sahip olması nedeniyle, montajda daha fazla esneklik var, bu yüzden elbette değiştirirken herhangi bir makul kalıntı ölçüsü artmamalı bir NB GLM tarafından Poisson GLM. " Böyle bir sezginin gerçekten doğru olup olmadığını merak ediyorum.

— whuber

Eğer

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$ ,

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$ . Eğer

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$ ,

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$ ve

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$ . Yani bir Poisson varyansı ortalamaya eşittir, NegBin varyansı ortalamadan daha büyüktür (

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$ ). Bu yüzden "Poisson dağılımı ile ilişkili standart sapma negatif binomialdan daha küçüktür."

— Sergio

@Sergio Meselenin özü, Poisson modelinde tahmin ile çalışıyor olduğumuz

\hat{λ}

$\hat\lambda$ ziyade

λ

$\lambda$ kendisi ve NB modelinde benzer şekilde iki tahminle çalışıyoruz

\hat{r}

$\hat{r}$ ve

\hat{p}

$\hat{p}$ . Bu nedenle karşılaştırmanız doğrudan geçerli değildir. Her iki modelde de MLE'lerin formüllerini yazmadan, bu tahmin kümeleri arasındaki ilişkilerin ne olması gerektiği açık değildir. Dahası, Pearson kalıntısı bir orandır ve varyanslarla ilgili argüman, hikayenin sadece yarısı olan paydaları ele almaktadır.

— whuber

MLE tahminleri tutarlıdır. Sorun şu ki, gung'un dediği gibi, "sayımlar popülasyonda üniforma olarak dağıtılacaktır. Yani, varyansları ortalamalarına eşit olmayacaktır", asla tahmini bir Poisson varyansı tahmin edilenden daha büyük olamaz. Poisson demek, tahminleriniz tarafsız ve tutarlı olsa bile. Bu bir yanlış anlama sorunu.

— Sergio

Poisson modeli için, eğer $i$ inci gözlem $Y_i$ dır-dir $\mu_i$ varyansı $\mu_i$ ve Pearson kalıntısı

\frac{y_{i} - {\hat{μ}}_{i}}{\sqrt{{\hat{μ}}_{i}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

nerede $\hat\mu$ ortalamanın tahminidir. Kullanılan negatif binom modeli parametrizasyonları MASS açıklanmıştır burada . İçin beklenti $i$ th observation $Y_i$ dır-dir $\mu_i$ varyansı $\mu_i + \frac{\mu^2}{\theta}$ ve Pearson kalıntısı

\frac{y_{i} - {\tilde{μ}}_{i}}{\sqrt{{\tilde{μ}}_{i} + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

nerede $\tilde\mu$ ortalamanın tahminidir. Değeri ne kadar küçükse $\theta$ - yani daha fazla Poisson varyansı - artık, Poisson eşdeğerine kıyasla daha küçüktür. [Ancak @whuber'ın işaret ettiği gibi, araçların tahminleri aynı değil, $\hat\mu\neq\tilde\mu$ , çünkü tahmin prosedürü gözlemleri varsayılan varyanslarına göre ağırlıklandırır. İçin tekrarlı ölçümler yapacaksanız $i$ Bu tahminci yaklaştıkça yaklaşıyorlardı ve genel olarak bir parametre eklemek tüm gözlemlere daha iyi uymalıdır, ancak bunu nasıl titizlikle göstereceğimizi bilmiyorum. Yine de, Poisson modeli geçerliyse tahmin ettiğiniz nüfus miktarları daha büyüktür, bu yüzden sürpriz olmamalıdır.]

— Scortchi - Monica'yı eski durumuna döndürün
kaynak

Bazı denklemleri tanıttığınız için teşekkürler. Ama

μ_{i}

$\mu_i$ iki modelde aynı değerlere sahip olacak? (Ben öyle düşünmüyorum.) Değilse, iki Pearson kalıntısını karşılaştırmak nasıl mümkün olabilir?

— whuber

@whuber Bu durumda, her iki model için de takılan değerlerin neredeyse aynı olduğu ortaya çıkıyor. Sonuçta, "gerçek" modelin gerçekten bir kesişim noktası vardır ve simülasyonda x ve Y arasında bir ilişki olmadığı için ortalamayı modellenir.

— jsk

@jsk Evet, verilere baktım ve kodu çalıştırdım. (BTW, iki model için verileri değiştirmek ve aslında aynı dağılım istatistiklerini elde etmek mümkündür .) Ne yazık ki, geçerli olan noktanız hala belirli bir soruyu çözmüyor ya da (örtük) genel soruyu ele almıyor tahmini varyanslar da hemen hemen aynı olabilir, çünkü Poisson kalıntılarını NB kalıntılarıyla karşılaştırır. Mevcut cevapla ilgili kafa karıştırıcı bir yön, "

μ_{i}

$\mu_i$ " Aynı verilerin iki modelinde neyin (ilke olarak) farklı tahminler olabileceğini belirtmek için

— whuber

@whuber Gerçekten de,

μ_{i}

$\mu_i$ . İlginç bir şekilde, Poisson için NB'den daha düşük bir dağılım istatistiğine yol açacak verileri simüle etmenin bir yolunu bulamıyorum. Belki mümkün değildir? Bunun sezgisel olarak anlamlı olduğunu kabul ediyorum. Kimlikten başka bir bağlantı işlevine sahip bir glm'niz olduğunda, mle için kapalı form çözümü olmadığından kanıtlanması kolay değildir. Ancak evet, iki dağılım istatistiğini çok benzer hale getirmek kolaydır.

— jsk

@jsk - bir NB modelinin her zaman Poisson'dan daha iyi olacağından şüphelenen teorik bir argüman, NB'yi bir poisson-gama bileşik dağılımı olarak yazabilmenizdir. Yani sende var

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$ ve sonra

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$ negatif bir binom modeli verir

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$ . Şimdi bunların eklenmesi

v_{i}

$v_i$ parametreleri, modelin tahmini ortalamayı gözlemlenen değere yakınlaştırmasını sağlar (

y_{i} > λ

$y_i>\lambda$ görürdün

v_{i} > 1

$v_i> 1$ , kalıntıyı azaltır.)

— olasılık