Karışık efekt modelleri neden bağımlılığı çözüyor?

Öğrenci sınav notlarının, öğrencilerin çalıştığı saat sayısından nasıl etkilendiğini merak ettiğimizi varsayalım. Bu ilişkiyi keşfetmek için aşağıdaki doğrusal regresyonu :

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$

Ancak, birkaç farklı okuldan öğrencileri örneklersek, aynı okuldaki öğrencilerin farklı okullardaki öğrencilerden daha çok benzer olmasını bekleyebiliriz. Bu bağımlılık sorunu ile başa çıkmak için, birçok ders kitabında / internette tavsiye, karışık bir efekt çalıştırmak ve okula rastgele bir etki olarak girmektir. Böylece model şöyle olur:

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + {school}_{j} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$ Ama bu neden doğrusal regresyonda mevcut olan bağımlılık problemini çözüyor?

Lütfen 12 yaşında biriyle konuşuyormuş gibi cevap verin

— luciano
kaynak

Bağımlılık sorununu "çözüp çözmediği" bağlama özgüdür. Ancak muhtemelen, genişletilmiş modelin, en azından kısmen, belirli bir okulla ilgili bir etkiyi açıklayabilecek bir terimi olduğunu görebilirsiniz.

— image_doctor

Modele rastgele terimler eklemek, notlar arasındaki bazı kovaryans yapısını indüklemenin bir yoludur. Okul için rasgele faktör, aynı okuldaki farklı öğrenciler arasında sıfırdan farklı bir kovaryansa neden olurken , okul farklı olduğunda . $0$

Diyelim olarak modelinizi yazmak indeksleri okul ve (her okulda) öğrencileri endeksler. Terimleri bir çizilmiş bağımsız rastgele değişkenler . bir çizilmiş bağımsız rastgele değişkenler

Y_{s, i} = α + {hours}_{s, i} β + {school}_{s} + e_{s, i}

$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$

s

$s$

i

$i$

{school}_{s}

$\text{school}_s$

N (0, τ)

$\mathcal N(0, \tau)$

e_{s, i}

$e_{s, i}$

N (0, σ^{2})

$\mathcal N(0, \sigma^2)$

Bu vektör, beklenen tüm değerler çalışılan saat sayısına göre belirlenir.

{[α + {hours}_{s, i} β]}_{s, i}

$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$

Arasındaki kovaryans ve ise iken , hangi öğrencilerin aynı okulda olmadığında beklenen değerlerden notlarının kalkış bağımsız olduğunu demektir. $Y_{s,i}$ $Y_{s',i'}$ $0$ $s \ne s'$

Arasındaki kovaryans ve olduğunu zaman ve varyansını olan den aynı okuldan öğrencilerin notlarının korelasyon olacak kalkışlar: beklenen değerleri. $Y_{s,i}$ $Y_{s,i'}$ $\tau$ $i \ne i'$ $Y_{s,i}$ $\tau + \sigma^2$

Örnek ve simüle edilmiş veriler

İşte beş okuldan elli öğrenci için kısa bir R simülasyonu (burada alıyorum ); değişkenin isimleri kendi kendini belgelemektedir: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

Her bir öğrenci için beklenen , yani terimleri , her bir okul için ortalama kalkış ile birlikte (noktalı çizgi) : $\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

karışık model

Şimdi bu konu hakkında yorum yapalım. Her noktalı çizginin seviyesi ( karşılık gelir ) normal bir yasada rastgele çizilir. Öğrenciye özgü rastgele terimler de normal bir yasada rastgele çizilir, noktaların noktalı çizgiden uzaklığına karşılık gelir. Ortaya çıkan değer, her öğrenci için, çalışmak için harcanan zamana göre belirlenen not olan . Sonuç olarak, aynı okuldaki öğrenciler, sorunuzda belirttiğiniz gibi, farklı okullardaki öğrencilerden daha benzerdir. $\text{school}_s$ $\alpha + \text{hours} \beta$

Bu örnek için varyans matrisi

Yukarıdaki simülasyonlarda, okul efektleri ve bireysel etkileri ayrı ayrı , bu yüzden başladığım kovaryans düşünceleri burada açıkça görünmüyor. Aslında, blok diyagonal kovaryans matrisi ile 50. boyutta rastgele normal bir vektör çizerek benzer sonuçlar elde ederdik. burada beş blok , aynı okulun öğrencileri arasındaki kovaryansa karşılık gelir: $\text{school}_s$ $e_{s,i}$

[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}]

$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$

10 \times 10

$10\times 10$

A

$A$

A = [\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}] .

$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$

— Elvis
kaynak

Elvis: Bu muhtemelen istatistiklerde benden daha tecrübeli insanlar için harika bir cevap. Ancak bundan çok az anlam çıkarabilirim. Yanıtınızı 12 yaşında bir çocuğun anlayabileceği şekilde düzenleyebilir misiniz?

— luciano

A ... 12 yaşında mı ?! Vaov! Yardımcı olabilirse, bazı simülasyonlar ekleyeceğim.

— Elvis

Bitti. Bu yardımcı olur umarım. Değilse, lütfen ne elde etmediğiniz konusunda daha spesifik olun. 12 yaşın da soruyu anlamayacağını unutmayın ... sorudan daha basit bir cevap isteyemezsiniz.

— Elvis