Karma bir modelde gruplar rastgele veya sabit olarak değerlendirildiğinde eğim tahmininde büyük anlaşmazlık

Bazı model parametrelerinin bazı gruplama faktörleri arasında rasgele değiştiğine inandığımızda rastgele efektler (veya karışık efektler) kullandığımızı anlıyorum. Yanıtın bir gruplama faktörü üzerinde normalleştirildiği ve ortalandığı (mükemmel değil, oldukça yakın) bir modele uyma arzum var, ancak bağımsız bir değişken xherhangi bir şekilde ayarlanmadı. Bu beni gerçekten orada olsaydı aradığım etkiyi bulabilmem için aşağıdaki teste ( uydurulmuş veriler kullanarak ) yol açtı . Rastgele kesişmeli (tanımlanmış gruplar arasında ) bir karma efekt modeli fve sabit bir etki öngörücüsü olarak f faktörüne sahip ikinci bir sabit efekt modeli çalıştırdım. R paketini lmerkarma efekt modeli ve temel işlev için kullandımlm()sabit etki modeli için. Veriler ve sonuçlar aşağıdadır.

yGruptan bağımsız olarak 0 civarında değiştiğine dikkat edin ve bu , grup içinde xsürekli olarak ydeğişir, ancak gruplar arasında çok daha fazla değişir.y

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

Verilerle çalışmakla ilgileniyorsanız, dput()çıktı:

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

Karışık efekt modelinin takılması:

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

Kesişim varyansı bileşeninin 0 olduğu ve en önemlisi benim xiçin önemli bir belirleyici olmadığını tahmin ediyorum y.

Sonra sabit etki modelini frastgele bir kesişme için bir gruplama faktörü yerine bir öngörücü olarak yerleştiririm:

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

Şimdi, beklendiği gibi x, önemli bir yordayıcı olduğunu fark ediyorum y.

Aradığım şey, bu farkla ilgili sezgi. Burada benim düşüncem yanlış mı? Neden xher iki model için de yanlış bir parametre bulmayı bekliyorum ama bunu sadece sabit efekt modelinde görüyorum?

Burada birkaç şey oluyor. Bunlar ilginç konular, ancak hepsini açıklamak için oldukça fazla zaman / alan gerekir.

Her şeyden önce, verileri çizersek bunu anlamak çok daha kolay hale gelir . İşte veri noktalarının gruba göre renklendirildiği bir dağılım grafiği. Ayrıca, her grup için ayrı bir gruba özgü regresyon hattımızın yanı sıra kesik kalın harflerle yazılmış basit bir regresyon hattımız (grupları yok sayıyor) var:

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

Sabit etkili model

$x$$x$$x$$x$$x$$x$$x$$y$$t$

Yani temelde bizim için anlam kadar bu uçlar bunun ne sadece$x$$x$$x$lm()

Karışık model

Karışık modelin yaptığı biraz daha karmaşıktır. Karma model hem küme içi hem de küme arası değişkenliği kullanmaya çalışır$x$$x$$x$$x$

$x$

Basit regresyon modeli için katsayılar (arsadaki kesikli kalın çizgi):

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

Gördüğünüz gibi, buradaki katsayılar, karma modelde elde ettiğimizle aynıdır. Bu tam olarak bulmayı umduğumuz şeydi, çünkü daha önce de belirttiğiniz gibi, rastgele kesişmeler için 0 varyans tahminimiz var, daha önce belirtilen oranı / sınıf içi korelasyon 0 yapıyor. Yani bu durumda karışık model tahminleri sadece basit doğrusal regresyon tahminleri ve çizimde görebildiğimiz gibi, buradaki eğim, küme içi eğimlerden çok daha az belirgindir.

Bu bizi son bir kavramsal konuya getiriyor ...

Rasgele kesişmelerin varyansının neden 0 olduğu tahmin ediliyor?

Bu sorunun cevabı biraz teknik ve zor olma potansiyeline sahiptir, ancak bunu olabildiğince basit ve teknik olmayan tutmaya çalışacağım (her ikisi için de!). Ama yine de biraz uzun soluklu olacak.

$y$(ya da daha doğrusu, modelin hataları) kümeleme yapısı tarafından uyarılır. Sınıf içi korelasyon, veri kümesinin herhangi bir yerinden çizilen iki hatanın ortalama benzerliğine (yani, aynı kümede olabilir veya olmayabilir), ortalama olarak aynı kümeden alınan iki hatanın ne kadar benzer olduğunu söyler. Pozitif bir sınıf içi korelasyon bize aynı kümedeki hataların birbirine nispeten daha benzer olma eğiliminde olduğunu söyler; bir kümeden bir hata çizersem ve yüksek bir değere sahipse, aynı kümeden çizdiğim bir sonraki hatanın da yüksek bir değere sahip olmasını bekleyebilirim. Biraz daha az yaygın olmasına rağmen, sınıf içi korelasyonlar da negatif olabilir; aynı kümeden çizilen iki hata, bir bütün olarak veri kümesinde beklenenden daha az benzerdir (yani, daha fazla değer olarak).

Düşündüğümüz karma model, verilerdeki bağımlılığı temsil etmek için sınıf içi korelasyon yöntemini kullanmamaktadır. Bunun yerine, bağımlılık bileşenleri açısından bağımlılığı açıklar . Sınıf içi korelasyon pozitif olduğu sürece tüm bunlar iyidir. Bu durumlarda, sınıf içi korelasyon, özellikle rasgele kesişme varyansının toplam varyansa daha önce belirtilen oranı gibi varyans bileşenleri açısından kolayca yazılabilir. ( Sınıf içi korelasyon hakkındaki wiki sayfasına bakınAncak maalesef varyans bileşenleri modelleri, sınıf içi negatif korelasyonumuzun olduğu durumlar ile uğraşmakta zorlanmaktadır. Sonuçta, sınıf içi korelasyonun varyans bileşenleri açısından yazılması, varyansın bir oranı olarak yazmayı içerir ve oranlar negatif olamaz.

$y$$y$$y$oysa, farklı kümelerden kaynaklanan hatalar daha ılımlı bir fark yaratma eğiliminde olacaktır.) Bu nedenle, karma modeliniz pratikte karışık modellerin genellikle bu durumda ne yaptığını yapıyor: negatif sınıf içi korelasyonla tutarlı tahminler verir toplayabildiğinden, ancak 0'ın alt sınırında durur (bu kısıtlama genellikle model uydurma algoritmasına programlanır). Bu nedenle, yine de çok iyi bir tahmin olmayan 0'lık bir tahmini rasgele kesişme varyansı ile sonuçlanıyoruz, ancak bu varyans bileşenleri modeline ulaşabileceğimiz kadar yakın.

Öyleyse ne yapabiliriz?

$x$

$x$

$x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-statist daha büyük. Bu da şaşırtıcı değildir, çünkü rasgele grup etkileri basit regresyon modelinin uğraşmak zorunda olduğu çok fazla varyasyonu yiyen bu karışık modelde artık varyans çok daha küçüktür.

Son olarak, önceki bölümde ayrıntılı olarak açıkladığım nedenlerle, rastgele kesişimin varyansı için hala 0 tahminimiz var. En azından bunun dışında bir yazılıma geçmeden bu konuda ne yapabileceğimizden lmer()tam olarak emin değilim ve ayrıca bu son karışık modeldeki tahminlerimizi ne ölçüde olumsuz etkileyeceğinden de emin değilim. Belki başka bir kullanıcı bu konuyla ilgili bazı düşüncelere girebilir.

Referanslar

• Bell, A. ve Jones, K. (2014). Sabit etkilerin açıklanması: Zaman serisi kesit ve panel verilerinin rastgele efektlerin modellenmesi. Siyaset Bilimi Araştırma ve Yöntemleri. PDF
• Bafumi, J. ve Gelman, AE (2006). Öngörücüler ve grup etkileri ilişkili olduğunda çok düzeyli modellerin takılması. PDF

Büyük bir tefekkürden sonra, kendi cevabımı bulduğuma inanıyorum. Bir ekonometri uzmanının bağımsız değişkenimi endojen olarak tanımlayacağına ve dolayısıyla hem bağımsız hem de bağımlı değişkenlerle ilişkili olacağına inanıyorum . Bu durumda, bu değişkenler atlanır veya gözlenmez . Ancak, atlanan değişkenin değişmesi gereken gruplamaları gözlemliyorum.

Ekonometrinin sabit bir etki modeli önereceğine inanıyorum . Yani, bu durumda her gruplama seviyesi (veya modeli birçok gruplandırma mankenine gerek duyulmayacak şekilde koşullandıran eşdeğer bir spesifikasyon) içeren bir manken içeren bir model. Sabit bir etki modeliyle, ümit edilmeyen ve zamanla değişmeyen tüm değişkenlerin grup (veya bireysel) varyasyonunun koşullandırılmasıyla kontrol edilebilmesidir. Gerçekten, sorumun ikinci modeli tam olarak sabit bir etki modelidir ve bu nedenle beklediğim tahmini verir.

Bu durumu daha da aydınlatacak yorumları memnuniyetle karşılıyoruz.