Rasgele bir eğim efekti getirilmesi neden eğimin SE'sini genişletti?

Ben belirli bir grup birey (3 grup var) için değişken logInd Yılın etkisi analiz etmeye çalışıyorum. En basit model:

> fix1 = lm(logInd ~ 0 + Group + Year:Group, data = mydata)
> summary(fix1)

Call:
lm(formula = logInd ~ 0 + Group + Year:Group, data = mydata)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.5835 -0.3543 -0.0024  0.3944  4.7294 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
Group1       4.6395740  0.0466217  99.515  < 2e-16 ***
Group2       4.8094268  0.0534118  90.044  < 2e-16 ***
Group3       4.5607287  0.0561066  81.287  < 2e-16 ***
Group1:Year -0.0084165  0.0027144  -3.101  0.00195 ** 
Group2:Year  0.0032369  0.0031098   1.041  0.29802    
Group3:Year  0.0006081  0.0032666   0.186  0.85235    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.7926 on 2981 degrees of freedom
Multiple R-squared: 0.9717,     Adjusted R-squared: 0.9716 
F-statistic: 1.705e+04 on 6 and 2981 DF,  p-value: < 2.2e-16

Grup1'in önemli ölçüde azaldığını, Grup2 ve 3'ün arttığını ancak önemli ölçüde artmadığını görebiliriz.

Açıkçası birey rastgele etkisi olmalıdır, bu yüzden her bir birey için rastgele kesişme etkisi tanıtmak:

> mix1a = lmer(logInd ~ 0 + Group + Year:Group + (1|Individual), data = mydata)
> summary(mix1a)
Linear mixed model fit by REML 
Formula: logInd ~ 0 + Group + Year:Group + (1 | Individual) 
   Data: mydata 
  AIC  BIC logLik deviance REMLdev
 4727 4775  -2356     4671    4711
Random effects:
 Groups     Name        Variance Std.Dev.
 Individual (Intercept) 0.39357  0.62735 
 Residual               0.24532  0.49530 
Number of obs: 2987, groups: Individual, 103

Fixed effects:
              Estimate Std. Error t value
Group1       4.6395740  0.1010868   45.90
Group2       4.8094268  0.1158095   41.53
Group3       4.5607287  0.1216522   37.49
Group1:Year -0.0084165  0.0016963   -4.96
Group2:Year  0.0032369  0.0019433    1.67
Group3:Year  0.0006081  0.0020414    0.30

Correlation of Fixed Effects:
            Group1 Group2 Group3 Grp1:Y Grp2:Y
Group2       0.000                            
Group3       0.000  0.000                     
Group1:Year -0.252  0.000  0.000              
Group2:Year  0.000 -0.252  0.000  0.000       
Group3:Year  0.000  0.000 -0.252  0.000  0.000

Beklenen bir etkisi oldu - yamaçların GD (Grup1-3: Yıl katsayıları) artık daha düşük ve kalan SE de daha düşük.

Bireyler eğimde farklıdır, bu yüzden rastgele eğim etkisini de tanıttım:

> mix1c = lmer(logInd ~ 0 + Group + Year:Group + (1 + Year|Individual), data = mydata)
> summary(mix1c)
Linear mixed model fit by REML 
Formula: logInd ~ 0 + Group + Year:Group + (1 + Year | Individual) 
   Data: mydata 
  AIC  BIC logLik deviance REMLdev
 2941 3001  -1461     2885    2921
Random effects:
 Groups     Name        Variance  Std.Dev. Corr   
 Individual (Intercept) 0.1054790 0.324775        
            Year        0.0017447 0.041769 -0.246 
 Residual               0.1223920 0.349846        
Number of obs: 2987, groups: Individual, 103

Fixed effects:
              Estimate Std. Error t value
Group1       4.6395740  0.0541746   85.64
Group2       4.8094268  0.0620648   77.49
Group3       4.5607287  0.0651960   69.95
Group1:Year -0.0084165  0.0065557   -1.28
Group2:Year  0.0032369  0.0075105    0.43
Group3:Year  0.0006081  0.0078894    0.08

Correlation of Fixed Effects:
            Group1 Group2 Group3 Grp1:Y Grp2:Y
Group2       0.000                            
Group3       0.000  0.000                     
Group1:Year -0.285  0.000  0.000              
Group2:Year  0.000 -0.285  0.000  0.000       
Group3:Year  0.000  0.000 -0.285  0.000  0.000

Ama şimdi, beklentinin aksine, yamaçların GD (Grup1-3: Yıl katsayıları) artık çok daha yüksek, rastgele bir etkiye sahip olmadığından bile daha yüksek!

Bu nasıl mümkün olabilir? Rastgele etkinin açıklanamayan değişkenliği "yiyeceğini" ve tahminin "sükunetini" artıracağını umuyorum!

Bununla birlikte, kalan SE beklendiği gibi davranır - rastgele kesişme modelinden daha düşüktür.

Gerekirse veriler aşağıdadır.

Düzenle

Şimdi şaşırtıcı bir gerçeğin farkına vardım. Her birey için lineer regresyonu ayrı ayrı yaparsam ve sonuçta ortaya çıkan yamaçlarda ANOVA çalıştırırsam , rastgele yamaç modeliyle tam olarak aynı sonucu alırım! Nedenini biliyor musun?

indivSlope = c()
for (indiv in 1:103) {
    mod1 = lm(logInd ~ Year, data = mydata[mydata$Individual == indiv,])
    indivSlope[indiv] = coef(mod1)['Year']
}

indivGroup = unique(mydata[,c("Individual", "Group")])[,"Group"]


anova1 = lm(indivSlope ~ 0 + indivGroup)
summary(anova1)

Call:
lm(formula = indivSlope ~ 0 + indivGroup)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.176288 -0.016502  0.004692  0.020316  0.153086 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)
indivGroup1 -0.0084165  0.0065555  -1.284    0.202
indivGroup2  0.0032369  0.0075103   0.431    0.667
indivGroup3  0.0006081  0.0078892   0.077    0.939

Residual standard error: 0.04248 on 100 degrees of freedom
Multiple R-squared: 0.01807,    Adjusted R-squared: -0.01139 
F-statistic: 0.6133 on 3 and 100 DF,  p-value: 0.6079

Gerekirse veriler aşağıdadır.

r mixed-model lme4-nlme random-effects-model

— Meraklı
kaynak

Bir yıl olacaksa bir yıl sabit etkisi gerekir: grup etkileşimi sabit etkisi. Genel olarak, ana efektleri de içermeden bir etkileşim terimi ekleyemezsiniz. Gerçekten yıl etkisinin sabit bir bileşeni olmadığını düşünüyor musunuz? Ve eğer öyleyse, sabit bir yıl nasıl olabilir: grup etkileşimi?

— John

Ve neden sabit kesişme yok? Hem sabit hem de rastgele olabilir.

— John

@John, bu model tamamen geçerli. Bu sadece kategorik değişkenin istenen kodlaması ile ilgilidir. Bu yoldanGroup

i

$i$ Grubun engelidir

i

$i$ , ve Group

i

$i$ :Year Grup içindeki eğim

i

$i$ . Yıl ve kesişmenin ana etkisi dahil edilirse, tahminler Grubun kesişme noktasının farklılıkları olacaktır.

i

$i$ ve Grup 1 ve benzer şekilde eğimlerle.

— Aniko

@John, bu benim sorumun konusu değil, yine de: inan bana, bu sorun değil, bununla ilgili çok deney yaptım. İlk lm modelim tamamen eşdeğer logInd ~ Year*Group, sadece katsayılar farklı şekillerde, başka bir şey değil. Zevkinize ve hangi katsayıları sevdiğinize bağlı, başka bir şey değil. Yazarken 1. modelimde "Yıl ana etkisi" nin dışlanması yoktur ... logInd ~ Year*Grouptam olarak aynı şeyi yapar, o zaman Yearkatsayı ana etki değil Grup1: Yıl'dır.

— Meraklı

Tamam, düzgün, 0 kesişme hem kabul etmemişti ve Grup varlık kategorik.

— John

Sorunun beklentilerinizde olduğunu düşünüyorum :) Her birey için rastgele bir kesişim eklediğinizde, kesişmelerin standart hatasının arttığını unutmayın. Her bireyin kendi müdahalesi olabileceğinden, grup ortalaması daha az kesindir. Aynı şey rastgele eğimde de oldu: artık bir ortak (grup içi) eğimi tahmin etmiyorsunuz, ancak değişen eğimlerin ortalaması.

EDIT: Daha iyi bir model neden daha kesin bir tahmin vermiyor?

Bunu başka bir şekilde düşünelim: İlk model neden standart hatayı hafife alıyor? Bağımsız olmayan gözlemlerin bağımsızlığını varsayar. İkinci model bu varsayımı (kesişmeleri etkileyecek şekilde) rahatlatır ve üçüncüsü daha da rahatlatır.

EDIT 2: hastaya özgü birçok modelle ilişki

Gözleminiz bilinen bir özelliktir (ve sadece iki yılınız olsaydı, rastgele etki modeli eşleştirilmiş bir t-testine eşdeğer olacaktır). Gerçek bir kanıtı yönetebileceğimi sanmıyorum, ancak belki de iki modeli yazmak ilişkiyi daha net hale getirecektir. Gösterimi karmaşıklaştıracağı için gruplama değişkenini görmezden gelelim. Rastgele efektler için Yunan harfleri, sabit efektler için latin harfleri kullanacağım.

Rastgele efektler modeli ( $i$ - konu, $j$ - konu içinde çoğaltma):

Y_{i j} = a + α_{i} + (b + β_{i}) x_{i j} + ϵ_{i j},

$Y_{ij} = a + \alpha_i + (b+\beta_i)x_{ij} + \epsilon_{ij},$ nerede

(α_{i}, β_{i})^{'} \sim N (0, Σ)

$(\alpha_i,\beta_i)'\sim N(0,\Sigma)$ ve

ϵ_{i j} \sim N (0, σ^{2})

$\epsilon_{ij}\sim N(0,\sigma^2)$ .

Her konu için ayrı modeller yerleştirdiğinizde,

Y_{i j} = a_{i} + b_{i} x_{i j} + ϵ_{i j},

$Y_{ij} = a_i + b_i x_{ij}+ \epsilon_{ij},$ nerede

ϵ_{i j} \sim N (0, σ_{i}^{2})

$\epsilon_{ij}\sim N(0,\sigma_i^2)$ .

[Not: Aşağıdaki gerçekten sadece el yıkama:]

Bu iki model arasında birçok benzerlik görebilirsiniz. $a_i$ karşılık gelen $a+\alpha_i$ ve $b_i$ için $b+\beta_i$ . Ortalaması $b_i$ 'e karşılık gelir $b$ , çünkü rasgele etkiler 0'dır. Rastgele kesişme ve eğimin sınırsız korelasyonu, modellerin sadece ayrı ayrı monte edilebilmesine yol açar. Nasıl beklediğimden emin değilim $\sigma$ özneye özgü varsayım ağları $\sigma_i$ , ama varsayalım ki $\alpha_i$ farkı alır.

— Aniko
kaynak

Teşekkürler Aniko. Haklısın, hesaplamalarım bunu doğruladı, ama nedenini görmek istiyorum ... Kontr-sezgisel görünüyor. Modelleri geliştirdim - rastgele efektler ekleyerek hata yapısını daha iyi tanımladım. Kalan hata bunu doğrular - daha düşük ve daha düşük. Bu daha iyi, daha hassas modellerle daha hassas eğim beklerdim ... Biliyorum bir yerde yanıldım, lütfen görmeme yardım et.

— Meraklı

Teşekkürler Aniko, bu ilginç bir bakış açısı! Sadece eğimlerle ilgileniyorum (Grup *: Yıl), burada kesişmiyorum .. Bu yüzden rasgele itcept efekti sunmanın ilk adımı bağımsızlık varsayımını gevşetti ve daha düşük SE .. (eğim ..) ve ardından bir sonraki adım muhtemelen çok fazlaydı (??) ve tersini yaptı (daha da kötüsü SE ..) .. belki de bunun hakkında düşünmem gerek, teşekkürler.

— Meraklı

Şimdi de çok ilginç bir gerçekle şaşırdım - lütfen düzenlememe bakınız. Bunun neden olduğunu biliyor musun?

— Meraklı

Bağımsızlık varsayımının çok rahat olduğunu sanmıyorum! Başlamak yanlıştı.

— Aniko

Tomas, “kesin” bir model, tahminlerin daha kesin olacağı anlamına gelmez. Aşırı bir örnek olarak, tüm yanıtların sıfır olduğunu tahmin eden herhangi bir veri içermeyen modeli alın. Bu model sıfır tahmininde kesinlikle kesindir . Bu nedenle, kişinin alabileceği kadar hassastır - ancak muhtemelen mümkün olduğu kadar yanlıştır. Bir modele parametrelere uyacak şekilde daha fazla kapsam verilmesi, genellikle bu parametrelerin daha fazla değil, daha az hassasiyetle uyduğu anlamına gelir . Daha iyi bir model, daha kötü bir model tarafından yakalanmayan belirsizliği ölçebildiğinden, genellikle daha büyük standart hatalara sahiptir.

— whuber