Basit bir ifadeyle, sabit etki, rastgele etki ve karma etki modelleri arasındaki farkı nasıl açıklarsınız (belki de basit örneklerle)?

İstatistikçi Andrew Gelman , “sabit etki” ve “rastgele etki” terimlerinin , kimin kullandığına bağlı olarak değişken anlamları olduğunu söylüyor. Belki de 5 tanımdan hangisinin sizin durumunuz için geçerli olduğunu seçebilirsiniz. Genel olarak, yazarların kullandığı olasılık modelini tanımlayan denklemleri aramak (okurken) veya kullanmak istediğiniz tam olasılık modelini (yazarken) yazmak daha iyi olabilir.

Burada gördüğümüz beş tanımları özetledik:

1. Sabit etkiler bireyler arasında sabittir ve rastgele etkiler değişkenlik gösterir. Örneğin, bir büyüme çalışmada rasgele kesişir ile örnek ve sabit eğimli farklı bireyler için paralel çizgiler tekabül , ya da model . Kreft ve De Leeuw (1998) böylece sabit ve rastgele katsayıları birbirinden ayırır. b ı y ı t = bir i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Etkiler kendileri ile ilgiliyse ya da altta yatan popülasyona ilgi varsa rastgele ise sabitlenir. Searle, Casella ve McCulloch (1992, Bölüm 1.4) bu ayrımı derinlemesine araştırıyor.

3. “Bir örnek popülasyonu tükettiğinde, karşılık gelen değişken sabittir; Örnek popülasyonun küçük (yani, önemsiz) bir parçası olduğunda, karşılık gelen değişken rastgeledir. ”(Green ve Tukey, 1960)

4. “Bir etkinin rastgele bir değişkenin fark edilen bir değeri olduğu varsayılırsa, buna rastgele bir etki denir.” (LaMotte, 1983)

5. Sabit etkiler, en küçük kareler (veya daha genel olarak en yüksek olabilirlik) kullanılarak tahmin edilir ve rastgele etkiler, küçülme ile tahmin edilir (Robinson, 1991 terminolojisinde “doğrusal yansız tahmin”). Bu tanım çok düzeyli modelleme literatüründe standarttır (bakınız, örneğin, Snijders ve Bosker, 1999, Bölüm 4.2) ve ekonometride.

[ Gelman, 2004, Varyans Analizi - neden her zamankinden daha önemli? İstatistiklerin Annals. ]

Gelman ve Hill gibi güzel kitaplar var . Aşağıdaki, esasen bakış açılarının bir özetidir.

Öncelikle, terminolojiye fazla kapılmamalısınız. İstatistiklerde, jargon asla modellerin kendisinin matematiksel bir anlayışının yerine kullanılmamalıdır. Bu, özellikle rastgele ve karışık etki modelleri için geçerlidir. “Karışık” sadece modelin hem sabit hem de rastgele etkileri olduğu anlamına gelir, bu yüzden sabit ile rasgele arasındaki farka odaklanalım.

Sabit Etkilere Karşı Rastgele

Diyelim ki gözlemlerinizi kategori değerlerine göre gruplara ayıran kategorik bir tahminciye sahip bir modeliniz var. * Bu tahminciyle ilişkilendirilen model katsayıları veya "etkiler" sabit veya rastgele olabilir. İkisi arasındaki en önemli pratik fark şudur:

Rastgele etkiler kısmi havuzda tahmin edilirken sabit etkiler değildir.

Kısmi havuzlama, bir grupta az sayıda veri puanınız varsa, grubun etki tahmininin kısmen diğer gruplardan daha bol miktarda bulunan verilere dayanacağı anlamına gelir. Bu, grup düzeyindeki farklılıkları maskeleyen tüm grupları tamamen havuzlayarak bir etkiyi tahmin etmek ve düşük örneklem grupları için kötü tahminler verebilecek olan tüm gruplar için bir etkisi tamamen ayrı ayrı tahmin etmek arasında güzel bir uzlaşma olabilir.

Rastgele etkiler kısmi havuzlama tekniğinin genel amaçlı bir istatistiksel model olarak genişletilmesidir. Bu, fikrin ilkeli olarak çoklu öngörücüler, karışık sürekli ve kategorik değişkenler ve karmaşık korelasyon yapıları dahil olmak üzere çok çeşitli durumlara uygulanmasını sağlar. (Ancak büyük bir güçle birlikte büyük sorumluluk alır: modelleme ve çıkarımın karmaşıklığı büyük ölçüde artmıştır ve kaçınılması gereken çok fazla karmaşıklık gerektiren ince önyargılara yol açabilir .)

Rastgele etkiler modelini motive etmek için kendinize sorun: neden kısmi bir havuz istiyorsunuz? Muhtemelen, çünkü küçük alt grupların ortak bir ortalama etkiye sahip daha büyük bir grubun parçası olduğunu düşünüyorsunuz. Alt grup, büyük grup ortalamasından biraz sapma gösterebilir, ancak isteğe bağlı bir miktarda değil. Bu fikri resmileştirmek için, sapmaların tipik olarak Gaussian bir dağılım izlediğini düşünüyoruz. Rastgele etkilerde "rastgele" nin geldiği yer: alt grupların bir ebeveynden sapmalarının rastgele bir değişkenin dağılımını takip ettiğini varsayıyoruz. Bu fikri aklınıza geldiğinde, karışık etkiler model denklemleri doğal olarak takip eder.

Ne yazık ki, karma efekt modellerinin kullanıcıları genellikle rastgele etkilerin ne olduğu ve sabit etkilerden nasıl farklı oldukları hakkında yanlış önyargılara sahiptir. İnsanlar "rastgele" duyuyorlar ve sistemin modellenmesi konusunda çok özel bir şey ifade ediyorlar, sanki bir şey "sabit" olduğunda sabit etkiler kullanılmalıyken, rastgele etkiler "bir şey rastgele örneklendiğinde" kullanılmalı. Ancak, model katsayılarının bir dağılımdan geldiğini varsaymak konusunda özellikle rastlantısal hiçbir şey yoktur; sadece sırt regresyonundaki model katsayılarına uygulanan cezasına benzeyen yumuşak bir kısıtlamadır . Rasgele efektler kullanmak isteyebileceğiniz veya istemeyeceğiniz birçok durum vardır ve bunların "sabit" ve "rasgele" arasındaki ayrımla ilgisi yoktur.$\ell_2$

Ne yazık ki, bu terimlerin neden olduğu kavram karışıklığı , birbiriyle çelişen tanımların bolluğuna yol açmıştır . Bu bağlantıdaki beş tanımdan sadece 4'ü genel durumda tamamen doğrudur, fakat aynı zamanda tamamen bilgilendirici değildir. Bu tanımın pratik çalışmalarda ne anlama geldiğini anlamak için tüm makaleleri ve kitapları (ya da bu yazıyı yazmamak) okumalısınız.

Örnek

Rasgele etki modellemenin yararlı olabileceği bir duruma bakalım. Ortalama ABD hanehalkı gelirini ZIP kodu ile tahmin etmek istediğinizi varsayalım. Hane halkının gelirlerini ve ZIP kodlarını içeren geniş bir veri setine sahipsiniz. Bazı ZIP kodları veri setinde iyi temsil edilir, ancak bazılarının sadece birkaç hanesi vardır.

İlk modeliniz için büyük olasılıkla her ZIP'deki ortalama geliri elde edersiniz. Bir ZIP için çok veriye sahip olduğunuzda bu işe yarar, ancak kötü örneklenmiş ZIP'leriniz için yapılan tahminler büyük farklılıklar gösterir. Bunu, tüm ZIP kodları boyunca ortalama gelire doğru aşırı değerleri zorlayacak bir büzülme tahmincisi (kısmi havuz) kullanarak hafifletebilirsiniz.

Fakat belirli bir ZIP için ne kadar büzülme / havuzlama yapmalısınız? Sezgisel olarak, aşağıdakilere bağlı olmalıdır:

1. Bu ZIP’de kaç gözleminiz var?
2. Genel olarak kaç gözleminiz var?
3. Bireysel düzeyde tüm posta kodları arasında ortalama ve hane geliri varyansı
4. Grup düzeyinde tüm posta kodları arasında ortalama hane geliri içinde varyans

ZIP kodunu rastgele bir etki olarak modellerseniz, tüm ZIP kodlarındaki ortalama gelir tahmini, yukarıdaki tüm faktörleri göz önünde bulundurarak istatistiksel olarak iyi kurulmuş bir büzülmeye maruz kalır.

En iyi bölüm, rastgele ve karışık efekt modellerinin, modeldeki tüm rastgele etkiler için değişkenlik tahmini olan otomatik olarak (4) işlemesidir. Bu ilk bakışta göründüğünden daha zordur: Her ZIP için örnek ortalamasının varyansını deneyebilirsiniz, ancak bu yüksek önyargılı olacaktır, çünkü farklı ZIP'lerin tahminleri arasındaki varyansın sadece örnekleme varyansıdır. Rastgele etkiler modelinde, çıkarım işlemi örnekleme varyansını açıklar ve varyans tahminini buna göre küçültür.

(1) - (4) 'ü hesaba katarak rastgele / karışık etkiler modeli, düşük örneklem grupları için uygun büzülmeyi belirleyebilir. Ayrıca birçok farklı öngörücü içeren çok daha karmaşık modelleri de kullanabilir.

Hiyerarşik Bayesian Modellemesi İlişkisi

Bu size hiyerarşik Bayesian modellemesi gibi geliyorsa, haklısınız - bu yakın bir akraba ama aynı değil. Karışık efekt modelleri gizli, gözlenmeyen parametreler için dağılımlar oluşturdukları için hiyerarşiktir, ancak genellikle tam olarak Bayesian değildir, çünkü üst seviye hiperparametrelere uygun öncelikler verilmeyecektir. Örneğin, yukarıdaki örnekte, belirli bir ZIP’deki ortalama geliri normal dağılıma ait bir örnek olarak ele alacağız, bilinmeyen ortalama ve sigma karışık etkiler takma işlemiyle tahmin edilebilir. Bununla birlikte, (Bayesian olmayan) bir karma efekt modeli genellikle bilinmeyen ortalama ve sigma üzerinde bir önceliğe sahip olmayacak, bu yüzden tam olarak Bayesian değil. Bununla birlikte, düzgün bir veri setiyle, standart karışık efektler modeli ve tamamen Bayesian varyantı çoğu zaman çok benzer sonuçlar verecektir.

* Bu konuyla ilgili pek çok tedavi, "grup" un dar bir tanımına odaklanırken, konsept aslında çok esnektir: bu sadece ortak bir mülkü paylaşan bir dizi gözlemdir. Bir grup, tek bir kişinin veya bir okuldaki birden fazla kişinin veya bir bölgedeki birden fazla okulun birden fazla gözleminden veya tek bir meyve türünün birden fazla çeşidinden veya aynı hasattan elde edilen birden fazla sebze türünden veya birden fazla hasattan oluşabilir. Aynı tür sebzelerden vb. Herhangi bir kategorik değişken gruplama değişkeni olarak kullanılabilir.

Bu konuda karma modellerle ilgili bir kitap bölümünde yazdım ( Fox, Negrete-Yankelevich ve Sosa 2014'te 13. bölüm ); ilgili sayfalar (s. 311-315) Google Kitaplar'da mevcuttur . Sanırım soru "sabit ve rastgele etkilerin tanımları nelerdir?" (bir "karma model" sadece her ikisini de içeren bir modeldir). Tartışmam, resmi tanımları hakkında biraz daha az (bunun için yukarıda @ JohnSalvatier'in cevabı ile bağlantılı Gelman belgesini erteleyeceğim) ve pratik özellikleri ve faydaları hakkında daha az şey söylüyor. İşte bazı alıntılar:

Rasgele etkilerin geleneksel görüşü, bazı gözlemler ilişkilendirildiğinde doğru istatistiksel testleri yapmanın bir yoludur.

Ayrıca rastgele etkileri, bir gruplama değişkeni içindeki farklı seviyelerdeki bilgileri birleştirmenin bir yolu olarak düşünebiliriz.

Rastgele etkiler özellikle (1) çok seviye (örneğin, birçok tür veya blok), (2) her seviyede göreceli olarak az veri bulunduğunda (seviyelerin çoğundan birden fazla örneğe ihtiyacımız olmasına rağmen) ve (3) dengesiz olduğu durumlarda faydalıdır seviyeler arasında örnekleme (kutu 13.1).

Frekansaristler ve Bayesanlar rastgele efektleri biraz farklı tanımlamış, bu da onları kullanma şeklini etkilemektedir. Sık görüşmeler, rastgele etkileri, daha büyük bir popülasyondan düzeyleri rasgele seçilen kategorik değişkenler olarak tanımlar.örneğin endemik türler listesinden rastgele seçilen türler. Bayesliler rastgele efektleri, parametreleri [tümü] dağılımından çizilmiş olan değişken kümeleri olarak tanımlarlar. Sık tanım, felsefi olarak uyumludur ve üzerinde ısrar eden araştırmacılarla (hakemler ve denetçiler dahil) karşılaşırsınız, ancak pratik olarak sorunlu olabilir. Örneğin, tarla sitenizdeki türlerin tümünü gözlemlediğinizde türlerin rastgele etki olarak kullanamayacağınız anlamına gelir - türlerin listesi daha büyük bir popülasyondan bir örnek olmadığından - veya yılı rastgele bir etki olarak kullanırsanız, Araştırmacılar rastgele örneklenmiş yıllarda nadiren deney yaparlar - genellikle bir dizi ardışık yıl ya da alana girebilecekleri yıllar süren gelişigüzel yıllarını kullanırlar.

Rastgele etkiler ayrıca, belirli seviyeler arasındaki değer farklılıklarını test etmek yerine, değerlerin dağılımı (yani, farklı seviyelerde yanıtın değerleri arasındaki fark) ile ilgili çıkarımlar yapmakla ilgilendiğiniz yordayıcı değişkenler olarak da tanımlanabilir.

İnsanlar bazen rastgele etkilerin “ilgilenmediğin faktörler” olduğunu söyler. Bu her zaman doğru değildir. Genellikle ekolojik deneylerde söz konusu olsa da (bölgeler arasındaki varyasyonun sadece bir sıkıntı olduğu durumlarda), örneğin, genotipler arasındaki varyasyonun doğal seleksiyon için hammadde olduğu veya evrimsel çalışmalarda veya demografik çalışmalarda büyük ilgi çekmektedir. yıl içindeki değişimin uzun vadeli büyüme oranlarını düşürdüğü yerlerde. Bazı durumlarda, ilginç etkiler de ilginç olmayan değişkenliği kontrol etmek için kullanılır; örneğin, vücut büyüklüğünün etkilerini kontrol etmek için bir değişken olarak kütlenin kullanılması.

Ayrıca “koşullu modun (öngörülen) değeri hakkında hiçbir şey söyleyemezsiniz” dediğini duyacaksınız. Bu ya doğru değil — değerin sıfıra eşit olduğunu ya da İki farklı seviyenin değerleri eşittir, ancak tahmin edilen değere bakmak ve hatta tahmin edilen değerin standart bir hatasını hesaplamak için hala mükemmel bir şekilde mantıklıdır (örneğin, şekil 13.1'deki koşullu modların etrafındaki hata çubuklarına bakınız).

Bayesian çerçevesi, rastgele etkilerin daha basit bir tanımına sahiptir. Bir Bayesian yaklaşımı altında, sabit bir etki, her parametreyi (örneğin, bir cins içindeki her bir tür için ortalama) bağımsız olarak (önceden belirlenmiş bir şekilde önceden belirlenmiş) tahmin ettiğimiz bir etkidir, rastgele bir etki için ise her seviye için parametreler çizilmiş olarak modellenmiştir. bir dağılımdan (genellikle Normal); standart istatistiksel gösterimde, .$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Yukarıda, grup değişkeninin birçok ölçülen seviyeye sahip olması durumunda rastgele etkilerin en faydalı olduğunu söyledim. Bunun tersine, gruplama değişkeni çok az seviyede olduğunda rasgele etkiler genellikle etkisizdir. Genellikle gruplama değişkeninin beş seviyeden daha az seviyesine sahip olması durumunda rastgele efektler kullanamazsınız ve rastgele efektler varyansı tahminleri sekiz seviyeden daha azıyla kararsızdır, çünkü çok küçük bir numuneden bir varyansı tahmin etmeye çalışıyorsunuzdur.

Sabit etki: Deneyci doğrudan manipüle eder ve sıklıkla tekrar edilebilir bir şey, örneğin, ilaç yönetimi - bir grup ilaç alır, bir grup plasebo alır.

Rastgele etki: Rastgele değişkenlik / deneysel birimlerin kaynağı, örneğin, bir klinik çalışma için bir popülasyondan (rastgele) çekilen bireyler. Rastgele etkiler değişkenliği tahmin eder

Karışık etki: Her ikisini de içerir, bu durumlarda sabit etki, popülasyon seviyesi katsayılarını tahmin ederken, rastgele etkiler, bir etkinliğe cevap olarak bireysel farklılıkları hesaba katabilir; etkisi ilacın etkisini tahmin eder; rastgele etkiler terimi, her bir kişinin ilaca farklı tepki vermesini sağlar.

Genel karışık etki kategorileri - tekrarlanan önlemler, boyuna, hiyerarşik, bölünmüş arsa.

Bu soruya buradan geldim , muhtemel bir kopyası.

Hali hazırda birkaç mükemmel cevap vardır, ancak kabul edilen cevapta belirtildiği gibi, terimin birçok farklı (ancak ilişkili) kullanımı vardır, bu nedenle ekonometride kullanılan, ancak henüz tam olarak ele alınmamış gibi görünen bir bakış açısı vermek yararlı olabilir. .

Doğrusal bir panel veri modelini göz önünde bulundurun: sözde hata bileşeni modeli. Burada, bazen zamanla sabit olan hata bileşeni olan bireye özgü heterojenite denir. Diğer hata bileşeni , hem birimleri hem de zaman içinde değişen "kendine özgü" .α i η i

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

Rastgele etkiler yaklaşımını kullanmanın bir nedeni, varlığının "küresel" olmayan (yani kimlik matrisinin bir katı değil) bir hata kovaryansı matrisine yol (rastgele efektler gibi bir GLS tipi yaklaşım) OLS'den daha verimli olun).$\alpha_i$

Bununla birlikte, , birçok tipik uygulamada olduğu gibi - korelasyon gösteriyorsa - standart ders kitabının tutarlılığı için temel varsayımlardan biri (en azından ekonometrik ders kitaplarında standart olan) rasgele etkiler tahmincisi , viz. , ihlal edildi. Daha sonra, bu tür engellere etkili bir şekilde uyan sabit bir etki yaklaşımı daha ikna edici olacaktır.X i t C o v ( α i , X i t ) = $\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

Aşağıdaki şekil bu noktayı göstermeyi amaçlamaktadır. ve arasındaki ham korelasyon pozitif. Ancak, bir birime (renkli) ait gözlemler negatif bir ilişki sergiler - bu tanımlamak istediğimiz şeydir, çünkü bu, in deki bir değişikliğe .$y$$X$$y_{it}$$X_{it}$

Ayrıca arasındaki korelasyon ve : Eski bireysel özgü yakaladığını ise (birim için yani beklenen değerler zaman ) görüyoruz ki kesenli, örneğin lightblue panel ünitesi kahverengi ünite için olandan çok daha küçük. Aynı zamanda, lightblue panel ünitesi değerinde çok daha küçük gerileme değerlerine sahiptir .$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

Dolayısıyla, havuzlanmış OLS burada yanlış bir strateji olacaktır, çünkü bu tahmin edici temelde renkleri görmezden geldiğinden, delta'nın pozitif bir esinlenmesine yol açacaktır . RE da fazla "zaman" -averages geriler ağırlıklı FE sürümü ve tahmin arasında olmak önyargılı olacaktır birbirinin üzerine. Ancak ikincisi, ve arasındaki korelasyon eksikliği gerektirir .$\delta$$t$$\alpha_i$$X_{it}$

Bununla birlikte, bu önyargı, olarak kaybolur , birim başına düşen zaman periyodu sayısı ( aşağıdaki kodda) artar, sonra FE üzerindeki ağırlık bire gelir (bkz. Örneğin Hsiao, Panel Verilerinin Analizi, Bölüm 3.3.2).$T$m

İşte verileri üreten ve pozitif RE tahmini ve "doğru", negatif FE tahmini üreten kod. (Bununla birlikte, RE tahminleri diğer tohumlar için de çoğunlukla olumsuz olacaktır, yukarı bakın.)

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Çıktı:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

Bu ayrım, yalnızca Bayesian dışı istatistikler bağlamında anlamlıdır. Bayesian istatistiklerinde, tüm model parametreleri "rastgele" dir.

Ekonometride, terimler genellikle modelin formda olduğu genelleştirilmiş doğrusal modellerde uygulanır.

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

Rastgele etkiler: Ne zaman ,$\alpha_i \perp u_{it}$

Sabit etkiler: Ne zaman .$\alpha_i \not \perp u_{it}$

Olarak lineer model , rasgele bir etkinin varlığı, en küçük kareler tahmincinin tutarsızlık ile sonuçlanmaz. Bununla birlikte, rastgele bir etki tahmincisinin kullanılması (mümkün olan genelleştirilmiş en küçük kareler gibi) daha verimli bir tahmin edici ile sonuçlanacaktır .

Olarak doğrusal olmayan model , örneğin probit, Tobit'in olarak,, ..., rastgele bir etkinin varlığı, genel olarak, tutarsız tahmin neden olur. Rasgele efekt tahmincisi kullanmak daha sonra tutarlılığı geri yükler.

Hem doğrusal hem de doğrusal olmayan modeller için sabit etkiler bir yanlılığa neden olur. Bununla birlikte, doğrusal modellerde, dönüştürülebilen verilerdeki OLS'nin tutarlı tahminlerle sonuçlanabileceği (ilk farklar veya azaltma gibi) kullanılabilecek dönüşümler vardır. Doğrusal olmayan modeller için, dönüşümlerin olduğu birkaç istisna vardır, sabit etkiler logit bir örnek.

Örnek: Rasgele etkiler probit. varsaymak

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

ve gözlenen sonuç

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

Biriktirilip maksimum olabilirlik tahmincisi örnek ortalamalarının en

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Tabii ki, burada kütük ve ürün basitleştirilir, ancak pedagojik sebeplerden dolayı, bu denklemi, formu olan rastgele etki tahmincisi ile karşılaştırılabilir kılar.

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

Örneğin, integrali, rastgele normal çizimlerini alarak ve her birinin olasılığını değerlendirerek rassallaştırabiliriz .$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

Sezgi şudur: Her gözlemin ne tür olduğunu bilmiyoruz . Bunun yerine, zaman içinde bir dizi çizim için olasılıkların ürününü değerlendiriyoruz. Gözlem için en olası tip her dönemde en yüksek olasılığı ve dolayısıyla bunun için olabilirlik katkı hakim olacak gözlemlerin tanıyan sekans.$\alpha_i$$i$$T$

Gerçekten resmi bir tanım değil, ama aşağıdaki slaytları seviyorum: Karışık modeller ve neden sosyologların Daniel Ezra Johnson'dan bunları ( ayna ) kullanmaları gerekiyor . Kısa bir özet. '4. slaytta sunulmuştur. Çoğunlukla psikodilbilimsel çalışmalara odaklanmış olmasına rağmen, ilk adım olarak çok faydalıdır.

Rasgele ve sabit etkiler modellerine dair çok pratik bir bakış açısı, panel verilerinde doğrusal gerileme yaparken ekonometriden geliyor . Açıklayıcı bir değişken ile bir veri kümesindeki bir sonuç değişkeni arasındaki ilişkiyi bireysel / grup başına çoklu örneklerle tahmin ediyorsanız, kullanmak istediğiniz çerçeve budur.

Panel verilerinin iyi bir örneği, aşağıdakilerden oluşan bir grup kişiden yıllık ölçümlerdir:

• $gender_i$ (cinsiyet kişinin inci)$i$
• ${\Delta}weight_{it}$ ( kişi için yılı boyunca ağırlık değişimi )$t$$i$
• $exercise_{it}$ (yıl boyunca ortalama günlük egzersiz kişi için )$t$$i$

Egzersiz ve kilo değişimi arasındaki ilişkiyi anlamaya çalışıyorsak, aşağıdaki gerilemeyi kurarız:

e X e r C ı s e i t + β 1 g E n d , e r i + α i + ε i ${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ ilgilenilen miktar
• $\beta_1$ ilginç değil, sadece cinsiyetini kontrol ediyoruz
• $\alpha_i$ , kişi başı
• $\epsilon_{it}$ hata terimdir

Bunun gibi bir kurulumda endojenite riski vardır. Bu, ölçülmemiş değişkenlerin (medeni durum gibi) hem egzersiz hem de kilo değişimi ile ilişkilendirildiği zaman olabilir. Bu Princeton dersinde sayfa 16'da açıklandığı gibi , rastgele etkiler (AKA karışık etkiler) modeli sabit etkiler modelinden daha etkilidir. Bununla birlikte, ölçülmemiş değişkenin egzersizdeki ağırlık değişimi üzerindeki etkisinin bir kısmını yanlış bir şekilde ilişkilendirir, yanlış bir ve potansiyel olarak geçerli olandan daha yüksek bir istatistiksel önem . Bu durumda, rastgele etki modeli tutarlı bir tahmincisi değildir .β $\beta_0$$\beta_0$

Sabit etkiler modeli (en temel şekliyle) zamanla sabit olan ölçülmeyen değişkenleri kontrol eder, ancak regresyon denklemindeki her birey ( ) için ayrı bir müdahale terimini içeren bireyler arasında açıkça değişkenlik gösterir . Örneğimizde, ölçülmeyen etkileri (medeni durum, sosyoekonomik durum, eğitim durumu, vb.) Yanı sıra cinsiyetten kaynaklanan etkilerin etkilerini otomatik olarak kontrol edecektir. Aslında, cinsiyet regresyona dahil edilemez ve sabit etkiler modeliyle tahmin edilemez, çünkü ile .p 1 g E n d , e r i a $\alpha_i$$\beta_1$$gender_i$$\alpha_i$

Dolayısıyla, temel soru hangi modelin uygun olduğunu belirlemektir. Cevap Hausman Testi . Bunu kullanmak için, hem sabit hem de rastgele etkiler regresyonu yaparız ve daha sonra, katsayı tahminlerinin önemli ölçüde farklılaşıp değişmediğini görmek için Hausman Testini uygularız. Farklılaşırlarsa, endojenite oyundadır ve sabit etkiler modeli en iyi seçimdir. Aksi takdirde, rastgele efektlerle gideceğiz.