GLMM'lerin özellikleri ve yorumlanması ile ilgili bazı sorularım var. 3 soru kesinlikle istatistiksel ve 2 daha spesifik olarak R hakkında. Buraya gönderiyorum çünkü nihayetinde sorunun GLMM sonuçlarının yorumlanması olduğunu düşünüyorum.

Şu anda bir GLMM takmaya çalışıyorum. Boyuna Tract Veritabanı ABD nüfus sayımı verileri kullanıyorum . Benim gözlemlerim sayım yolları. Bağımlı değişkenim boş konut sayısıdır ve boşluk ile sosyo-ekonomik değişkenler arasındaki ilişkiye ilgi duyuyorum. Buradaki örnek basittir, sadece iki sabit etki kullanır: beyaz olmayan nüfusun (ırk) ve hanehalkı geliri (sınıf) ve bunların etkileşimi. İki iç içe rastgele etki eklemek istiyorum: onlarca yıl ve on yıllar içindeki yollar, yani (on yıl / yol). Bunları mekansal (yani, yollar arasında) ve zamansal (yani on yıllar arasında) otokorelasyonu kontrol etme çabası içinde düşünüyorum. Bununla birlikte, on yıllık bir sabit etki olarak da ilgileniyorum, bu yüzden sabit bir faktör olarak da dahil ediyorum.

Bağımsız değişkenim negatif olmayan bir tamsayı sayımı değişkeni olduğundan, poisson ve negatif binom GLMM'lerine uymaya çalışıyorum. Toplam konut birimlerinin günlüğünü ofset olarak kullanıyorum. Bu, katsayıların toplam boş ev sayısı değil boşluk oranı üzerindeki etkisi olarak yorumlandığı anlamına gelir.

Şu anda bir poisson ve negatif binomiyal GLMM için lme4'ten glmer ve glmer.nb kullanılarak tahmin edilen sonuçlara sahibim . Veriler ve çalışma alanı hakkındaki bilgilerime dayanarak katsayıların yorumlanması bana mantıklı geliyor.

İsterseniz verileri ve senaryoyu onlar benim Hangi Github . Senaryo, modelleri oluşturmadan önce yaptığım daha fazla tanımlayıcı araştırma içeriyor.

İşte sonuçlarım:

Poisson modeli

Generalized linear mixed model fit by maximum likelihood (Laplace Approximation) ['glmerMod']
 Family: poisson  ( log )
Formula: R_VAC ~ decade + P_NONWHT + a_hinc + P_NONWHT * a_hinc + offset(HU_ln) +      (1 | decade/TRTID10)
   Data: scaled.mydata

     AIC      BIC   logLik deviance df.resid 
 34520.1  34580.6 -17250.1  34500.1     3132 

Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-2.24211 -0.10799 -0.00722  0.06898  0.68129 

Random effects:
 Groups         Name        Variance Std.Dev.
 TRTID10:decade (Intercept) 0.4635   0.6808  
 decade         (Intercept) 0.0000   0.0000  
Number of obs: 3142, groups:  TRTID10:decade, 3142; decade, 5

Fixed effects:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)     -3.612242   0.028904 -124.98  < 2e-16 ***
decade1980       0.302868   0.040351    7.51  6.1e-14 ***
decade1990       1.088176   0.039931   27.25  < 2e-16 ***
decade2000       1.036382   0.039846   26.01  < 2e-16 ***
decade2010       1.345184   0.039485   34.07  < 2e-16 ***
P_NONWHT         0.175207   0.012982   13.50  < 2e-16 ***
a_hinc          -0.235266   0.013291  -17.70  < 2e-16 ***
P_NONWHT:a_hinc  0.093417   0.009876    9.46  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr) dc1980 dc1990 dc2000 dc2010 P_NONWHT a_hinc
decade1980  -0.693                                            
decade1990  -0.727  0.501                                     
decade2000  -0.728  0.502  0.530                              
decade2010  -0.714  0.511  0.517  0.518                       
P_NONWHT     0.016  0.007 -0.016 -0.015  0.006                
a_hinc      -0.023 -0.011  0.023  0.022 -0.009  0.221         
P_NONWHT:_h  0.155  0.035 -0.134 -0.129  0.003  0.155   -0.233
convergence code: 0
Model failed to converge with max|grad| = 0.00181132 (tol = 0.001, component 1)

Negatif binom modeli

Generalized linear mixed model fit by maximum likelihood (Laplace Approximation) ['glmerMod']
 Family: Negative Binomial(25181.5)  ( log )
Formula: R_VAC ~ decade + P_NONWHT + a_hinc + P_NONWHT * a_hinc + offset(HU_ln) +      (1 | decade/TRTID10)
   Data: scaled.mydata

     AIC      BIC   logLik deviance df.resid 
 34522.1  34588.7 -17250.1  34500.1     3131 

Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-2.24213 -0.10816 -0.00724  0.06928  0.68145 

Random effects:
 Groups         Name        Variance  Std.Dev. 
 TRTID10:decade (Intercept) 4.635e-01 6.808e-01
 decade         (Intercept) 1.532e-11 3.914e-06
Number of obs: 3142, groups:  TRTID10:decade, 3142; decade, 5

Fixed effects:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)     -3.612279   0.028946 -124.79  < 2e-16 ***
decade1980       0.302897   0.040392    7.50 6.43e-14 ***
decade1990       1.088211   0.039963   27.23  < 2e-16 ***
decade2000       1.036437   0.039884   25.99  < 2e-16 ***
decade2010       1.345227   0.039518   34.04  < 2e-16 ***
P_NONWHT         0.175216   0.012985   13.49  < 2e-16 ***
a_hinc          -0.235274   0.013298  -17.69  < 2e-16 ***
P_NONWHT:a_hinc  0.093417   0.009879    9.46  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr) dc1980 dc1990 dc2000 dc2010 P_NONWHT a_hinc
decade1980  -0.693                                            
decade1990  -0.728  0.501                                     
decade2000  -0.728  0.502  0.530                              
decade2010  -0.715  0.512  0.517  0.518                       
P_NONWHT     0.016  0.007 -0.016 -0.015  0.006                
a_hinc      -0.023 -0.011  0.023  0.022 -0.009  0.221         
P_NONWHT:_h  0.154  0.035 -0.134 -0.129  0.003  0.155   -0.233

Poisson DHARMa testleri

    One-sample Kolmogorov-Smirnov test

data:  simulationOutput$scaledResiduals
D = 0.044451, p-value = 8.104e-06
alternative hypothesis: two-sided

    DHARMa zero-inflation test via comparison to expected zeros with simulation under H0 = fitted model

data:  simulationOutput
ratioObsExp = 1.3666, p-value = 0.159
alternative hypothesis: more

Negatif binom DHARMa testleri

    One-sample Kolmogorov-Smirnov test

data:  simulationOutput$scaledResiduals
D = 0.04263, p-value = 2.195e-05
alternative hypothesis: two-sided

    DHARMa zero-inflation test via comparison to expected zeros with simulation under H0 = fitted model

data:  simulationOutput2
ratioObsExp = 1.376, p-value = 0.174
alternative hypothesis: more

DHARMa grafikleri

Poisson

Negatif binom

İstatistik soruları

Hâlâ GLMM'leri anladığım için şartname ve yorum konusunda kendimi güvensiz hissediyorum. Birkaç sorum var:

1. Verilerimin bir Poisson modeli kullanmayı desteklemediği anlaşılıyor ve bu nedenle negatif binom ile daha iyi durumdayım. Bununla birlikte, negatif binom modellerimin maksimum limiti artırsam bile yineleme sınırlarına ulaştığı konusunda sürekli uyarılar alıyorum. "Theta.ml'de (Y, mu, ağırlıklar = nesne @ resp $ ağırlıkları, limit = limit,: yineleme sınırına ulaşıldı." Bu, birkaç farklı spesifikasyon (yani hem sabit hem de rastgele efektler için minimum ve maksimum modeller) kullanılarak gerçekleşir. Ayrıca bağımlılarımdaki aykırı değerleri kaldırmayı denedim (brüt, biliyorum!), Çünkü değerlerin en üst% 1'i çok fazla aykırı (alt% 99 0-1012 arasında, üst% 10 1013-5213 arasında). iterasyonlar üzerinde herhangi bir etkiye ve katsayılar üzerinde çok az etkiye sahip değilim. Poisson ve negatif binom arasındaki katsayılar da oldukça benzerdir. Bu yakınsama eksikliği bir problem midir? Negatif binom modeli iyi bir uyum mu? Ayrıca negatif binom modelini kullanarakAllFit ve tüm optimize ediciler bu uyarıyı atmıyor (bobyqa, Nelder Mead ve nlminbw yapmadı).

2. On yıllık sabit etkimin varyansı sürekli olarak çok düşük veya 0'dır. Bunun, modelin fazla olduğu anlamına gelebileceğini anlıyorum. On yılın sabit etkilerden çıkarılması, on yıllık rastgele etki varyansını 0.2620'ye çıkarır ve sabit etki katsayıları üzerinde çok fazla etkisi yoktur. Onu terk etmede bir sorun var mı? Ben sadece gözlem varyansı arasında açıklamaya gerek olmadığı şeklinde yorumluyorum.

3. Bu sonuçlar sıfır şişirilmiş modelleri denemem gerektiğini gösteriyor mu? DHARMa sıfır enflasyonun sorun olmayabileceğini öne sürüyor. Yine de denemem gerektiğini düşünüyorsanız, aşağıya bakın.

R soruları

4. Sıfır şişirilmiş modelleri denemek isterim, ancak hangi paket uyarılarının sıfır şişirilmiş Poisson ve negatif binom GLMM'ler için rastgele efektler içerdiğinden emin değilim. AIC'yi sıfır şişirilmiş modellerle karşılaştırmak için glmmADMB kullanardım, ancak tek bir rastgele efektle sınırlıdır, bu nedenle bu model için çalışmaz. MCMCglmm'yi deneyebilirim, ancak Bayesian istatistiklerini bilmiyorum, bu yüzden de çekici değil. Başka seçenekler var mı?

5. Üstel katsayıları özet (model) içinde görüntüleyebilir miyim veya burada yaptığım gibi özetin dışında yapmak zorunda mıyım?

Tahmininizde ele alınması gereken bazı önemli sorunlar olduğuna inanıyorum.

Verilerinizi inceleyerek topladıklarımdan, birimleriniz coğrafi olarak gruplandırılmaz, yani ilçelerdeki nüfus sayımı yolları. Bu nedenle, yolları bir gruplama faktörü olarak kullanmak, uzamsal heterojenliği yakalamak için uygun değildir, çünkü bu, gruplarla aynı sayıda kişiye sahip olduğunuz anlamına gelir (veya başka bir yolla, tüm gruplarınızın her birinde yalnızca bir gözlem vardır). Çok düzeyli bir modelleme stratejisi kullanmak, gruplar arası varyansı kontrol ederken bireysel düzeydeki varyansı tahmin etmemizi sağlar. Gruplarınızın her biri yalnızca bir kişiye sahip olduğundan, gruplar arası varyansınız, bireysel düzeydeki varyansınızla aynıdır, böylece çok düzeyli yaklaşımın amacını ortadan kaldırır.

Öte yandan, gruplama faktörü zaman içinde tekrarlanan ölçümleri temsil edebilir. Örneğin, uzunlamasına bir çalışma söz konusu olduğunda, bireyin "matematik" puanları yıllık olarak kaydedilebilir, bu nedenle her öğrenci için n yıl boyunca yıllık bir değere sahip oluruz (bu durumda, gruplama faktörü n öğrenciler içinde "iç içe" gözlem sayısı). Sizin durumunuzda, her bir nüfus sayımı sisteminin ölçümlerini tekrarladınız decade. Böylece, TRTID10değişkeninizi "on yıl arasındaki varyans" ı yakalamak için bir gruplandırma faktörü olarak kullanabilirsiniz . Bu, sayım yolu başına yaklaşık 4 ve 5 gözlem ile 635 kanalda 3142 gözleme yol açar.

Bir yorumda belirtildiği decadegibi, her sayım yolu için sadece yaklaşık yirmi yılınız olduğu için, bir gruplandırma faktörü olarak kullanmak çok uygun değildir ve etkileri, ortak decadedeğişken olarak tanıtılarak daha iyi yakalanabilir .

İkincisi, verilerinizin bir poisson veya negatif binom modeli (veya sıfır şişirilmiş bir yaklaşım) kullanılarak modellenmesi gerekip gerekmediğini belirlemek. Verilerinizdeki aşırı dağılım miktarını düşünün. Poisson dağılımının temel özelliği eşit dağılmadır, yani ortalama dağılımın varyansına eşittir. Verilerinize bakıldığında, aşırı dağılımın olduğu oldukça açıktır. Varyanslar araçlardan çok daha büyüktür.

library(dplyr)    
 dispersionstats <- scaled.mydata %>%
 + group_by(decade) %>%
 + summarise(
 + means = mean(R_VAC),
 + variances = var(R_VAC),
 + ratio = variances/means)

##   dispersionstats
##   # A tibble: 5 x 5
##   decade     means variances     ratio 
##    <int>     <dbl>     <dbl>     <dbl> 
## 1   1970  45.43513   4110.89  90.47822 
## 2   1980 103.52365  17323.34 167.33707 
## 3   1990 177.68038  62129.65 349.67087 
## 4   2000 190.23150  91059.60 478.67784 
## 5   2010 247.68246 126265.60 509.78821 

Bununla birlikte, negatif binomun istatistiksel olarak daha uygun olup olmadığını belirlemek için standart bir yöntem, bir Poisson ve negatif binom modeli arasında bir olasılık oranı testi yapmaktır, bu da negbinin daha uygun olduğunu gösterir.

library(MASS)
library(lmtest)

modelformula <- formula(R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln))

poismodel <- glm(modelformula, data = scaled.mydata, family = "poisson")   
nbmodel <- glm.nb(modelformula, data = scaled.mydata)

lrtest(poismodel, nbmodel)

## Likelihood ratio test

##  Model 1: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)  
## Model 2: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)
##   #Df  LogLik Df  Chisq Pr(>Chisq)
## 1   8 -154269
## 2   9  -17452  1 273634  < 2.2e-16 ***
##  ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Bunu belirledikten sonra, bir sonraki test çok seviyeli (karışık model) yaklaşımın benzer bir yaklaşım kullanılarak garanti edilip edilmediğini düşünebilir, bu da çok düzeyli versiyonun daha iyi bir uyum sağladığını gösterir. (Benzer bir test, modeller aksi halde aynı olduğu sürece glmer.nb nesnesine bir poisson dağılımı olduğu varsayılarak daha yumuşak bir uyumun karşılaştırılması için kullanılabilir.)

library(lme4)

glmmformula <- update(modelformula, . ~ . + (1|TRTID10))

nbglmm <- glmer.nb(glmmformula, data = scaled.mydata)

lrtest(nbmodel, nbglmm)

## Model 1: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)
## Model 2: R_VAC ~ factor(decade) + P_NONWHT + a_hinc + (1 | TRTID10) +
##     P_NONWHT:a_hinc + offset(HU_ln)
##   #Df LogLik Df Chisq Pr(>Chisq)
## 1   9 -17452
## 2  10 -17332  1 239.3  < 2.2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Poisson ve nb modellerinin tahminleri ile ilgili olarak, aslında birbirlerine çok benzer olmaları beklenir, ana ayrım standart hatalar, yani aşırı dağılım mevcutsa, poisson modeli önyargılı standart hatalar sağlama eğilimindedir. Verilerinizi örnek olarak almak:

poissonglmm <- glmer(glmmformula, data = scaled.mydata)
summary(poissonglmm)

## Random effects:
##  Groups  Name        Variance Std.Dev.
## TRTID10 (Intercept) 0.2001   0.4473
## Number of obs: 3142, groups:  TRTID10, 635

## Fixed effects:
##                     Estimate Std. Error z value Pr(>|z|)
## (Intercept)        -2.876013   0.020602 -139.60   <2e-16 ***
## factor(decade)1980  0.092597   0.007602   12.18   <2e-16 ***
## factor(decade)1990  0.903543   0.007045  128.26   <2e-16 ***
## factor(decade)2000  0.854821   0.006913  123.65   <2e-16 ***
## factor(decade)2010  0.986126   0.006723  146.67   <2e-16 ***
## P_NONWHT           -0.125500   0.014007   -8.96   <2e-16 ***
## a_hinc             -0.107335   0.001480  -72.52   <2e-16 ***
## P_NONWHT:a_hinc     0.160937   0.003117   51.64   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

summary(nbglmm)
## Random effects:
##  Groups  Name        Variance Std.Dev.
##  TRTID10 (Intercept) 0.09073  0.3012
## Number of obs: 3142, groups:  TRTID10, 635

## Fixed effects:
##                     Estimate Std. Error z value Pr(>|z|)
## (Intercept)        -2.797861   0.056214  -49.77  < 2e-16 ***
## factor(decade)1980  0.118588   0.039589    3.00  0.00274 **
## factor(decade)1990  0.903440   0.038255   23.62  < 2e-16 ***
## factor(decade)2000  0.843949   0.038172   22.11  < 2e-16 ***
## factor(decade)2010  1.068025   0.037376   28.58  < 2e-16 ***
## P_NONWHT            0.020012   0.089224    0.22  0.82253
## a_hinc             -0.129094   0.008109  -15.92  < 2e-16 ***
## P_NONWHT:a_hinc     0.149223   0.018967    7.87 3.61e-15 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Katsayı tahminlerinin hepsinin çok benzer olduğuna dikkat edin, ana fark sadece ortak değişkenlerinizden birinin önemi ve rastgele etkiler varyansındaki farktır, bu da nb'deki aşırı dağılım parametresi tarafından yakalanan birim seviyesi varyansının olduğunu gösterir. model ( thetaglmer.nb nesnesindeki değer), rastgele efektler tarafından yakalanan kanallar arasındaki varyansın bir kısmını yakalar.

Üstel katsayılar (ve ilişkili güven aralıkları) ile ilgili olarak aşağıdakileri kullanabilirsiniz:

fixed <- fixef(nbglmm)
confnitfixed <- confint(nbglmm, parm = "beta_", method = "Wald") # Beware: The Wald method is less accurate but much, much faster.

# The exponentiated coefficients are also known as Incidence Rate Ratios (IRR)
IRR <- exp(cbind(fixed, confintfixed)
IRR
##                         fixed      2.5 %     97.5 %
## (Intercept)        0.06094028 0.05458271 0.06803835
## factor(decade)1980 1.12590641 1.04184825 1.21674652
## factor(decade)1990 2.46807856 2.28979339 2.66024515
## factor(decade)2000 2.32553168 2.15789585 2.50619029
## factor(decade)2010 2.90962703 2.70410073 3.13077444
## P_NONWHT           1.02021383 0.85653208 1.21517487
## a_hinc             0.87889172 0.86503341 0.89297205
## P_NONWHT:a_hinc    1.16093170 1.11856742 1.20490048

Sıfır enflasyon ile ilgili son düşünceler. Karışımın sıfır şişirilmiş bileşeni için bir denklem belirtmenize izin veren sıfır şişirilmiş bir poisson veya negbin modelinin çok düzeyli uygulaması (en azından farkında olduğum) yoktur. glmmADMBmodel sabit sıfır enflasyon parametresini tahmin sağlar. Alternatif bir yaklaşım , çok düzeyli modelleri desteklemese zeroinflde, psclpaketteki işlevi kullanmak olacaktır . Böylece, tek seviyeli bir negatif binomun uyumunu, tek seviyeli sıfır şişirilmiş negatif binomiyle karşılaştırabilirsiniz. Şansı, eğer sıfır enflasyon tek seviyeli modeller için önemli değilse, çok seviyeli şartname için önemli olmayacağıdır.

ek

Mekansal otokorelasyon konusunda endişeleriniz varsa, bunu coğrafi ağırlıklı bir gerileme biçimi kullanarak kontrol edebilirsiniz (bunun alanlar değil nokta verileri kullandığına inanıyorum). Alternatif olarak, nüfus sayımı sistemlerinizi ek bir gruplandırma faktörüne (durumlar, ilçeler) göre gruplayabilir ve bunu rastgele bir etki olarak ekleyebilirsiniz. Son olarak ve bunun tamamen uygulanabilir olup olmadığından emin değilim, örneğin, R_VACbirinci dereceden komşuların ortalama sayısını bir ortak değişken olarak kullanarak uzamsal bağımlılığı dahil etmek mümkün olabilir . Her durumda, bu tür yaklaşımlardan önce, mekansal otokorelasyonun gerçekten mevcut olup olmadığını belirlemek mantıklı olacaktır (Global Moran I, LISA testleri ve benzer yaklaşımları kullanarak).