Neden iç içe var-covar modelleri arasında seçim yapmak için REML (ML yerine) kullanmak zorunda?

Doğrusal Karışık Modellerin rastgele etkileri üzerine model seçimi ile ilgili çeşitli açıklamalar REML kullanmayı öğretmektedir. Bir düzeyde REML ve ML arasındaki farkı biliyorum, ancak ML önyargılı olduğu için REML'nin neden kullanılması gerektiğini anlamıyorum. Örneğin, ML kullanarak normal bir dağıtım modelinin varyans parametresinde bir LRT yapmak yanlış mıdır (aşağıdaki koda bakın)? Model seçiminde ML olmanın neden tarafsız olmasının daha önemli olduğunu anlamıyorum. Bence nihai cevap "çünkü model seçimi REML ile ML'den daha iyi çalışır" olmalı ama bundan biraz daha fazlasını bilmek istiyorum. LRT ve AIC türevlerini okumadım (onları iyice anlamak için yeterince iyi değilim), ancak REML türevlerinde açıkça kullanılıyorsa, sadece bunun yeterli olacağını bilerek (örn.

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

— kelime oyunu
kaynak

REML ve AIC hakkında bu soruya bir göz atmalısınız .

— Elvis

Yanıtlar:

Çok kısa bir cevap: REML bir ML'dir, bu yüzden REML'ye dayanan test zaten doğrudur. REML ile varyans parametrelerinin tahmini daha iyi olduğundan, onu kullanmak doğaldır.

REML neden ML? Örneğin , , ve sabit efektlerin vektörü, rastgele efektlerin vektörü ve . Kısıtlı Olasılık , sabit etkileri "kaldırmak" için kontrastları düşünülerek elde edilebilir . Daha doğrusu, , öyle ki ve (yani sütunları)

Y = X β + Z u + e

$Y = X\beta + Zu + e \def\R{\mathbb{R}}$

X \in R^{n \times p}

$X\in\R^{n\times p}$

Z \in R^{n \times q}

$Z\in\R^{n\times q}$

β \in R^{p}

$\beta \in \R^p$

u \sim N (0, τ I_{q})

$u \sim \mathcal N(0, \tau I_q)$

e \sim N (0, σ^{2} I_{n})

$e \sim \mathcal N(0, \sigma^2 I_n)$

n - p

$n-p$

C \in R^{(n - p) \times n}

$C \in \R^{(n-p)\times n}$

C X = 0

$CX = 0$

C C^{'} = I_{n - p}

$CC' = I_{n-p}$

C^{'}

$C'$ sütunları tarafından üretilen boşluğun ortognal vektör uzayının ortonormal bir temelidir ); o zaman ile ve verilen olasılığı Kısıtlı Olabilirliktir.

X

$X$

C Y = C Z u + ϵ

$CY = CZ u + \epsilon$

ϵ \sim N (0, σ^{2} I_{n - p})

$\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$

τ, σ^{2}

$\tau, \sigma^2$

C Y

$CY$

— Elvis
kaynak

Güzel cevap (+1), matrisinin ortalama için modele bağlı olduğunu söylemek doğru mudur? Yani sadece aynı matrisi için REML tahminlerini karşılaştırabilir misiniz ?

C

$C$

C

$C$

Evet, , bağlıdır (cevabı netleştirmek için bir dakika içinde düzenleyeceğim), bu nedenle iç içe modellerinizin sabit efektlerle aynı değişkenlere sahip olması gerekir.

C

$C$

X

$X$

— Elvis

REML bir ML değildir ! ML benzersiz Belirli bir olasılık modeli için tanımlandığı gibidir, ancak REML sabit etkiler parametre bağlıdır. Bkz. Örneğin Doug Bates'in bu yorumu (R-SIG-karma modeller hakkında birçok tarihi yorum).

— Livius

@Livius Sanırım cevabım, sınırlı olasılığın nasıl inşa edildiğini yeterince açık bir şekilde ifade ediyor. Bu ise o gözlenen verilen adil değil olabilirlik var, bir olasılık ilk görüntülenen denklemde yazılı modelde, ancak öngörülen vektör verilen ikinci yazılı modelinde denklemi sergiledi. REML , bu olasılıktan elde edilen ML'dir .

Y

$Y$

C Y

$CY$

— Elvis

Bence bu, DBate'lerin bu konudaki protestolarının noktası: farklı bir model ve model ve parametreleştirmenin iç içe geçtiği için karşılaştırmanın zor olduğu bir model. Eğer işlem değiliz Yani orijinal model için ML ama için ML farklı modelde orijinal modelin belirli bir parameterization kaynaklanan. Bu nedenle iç içe sabit efektli yapılara sahip REML donanımlı modeller artık iç içe geçmiş modeller değildir (yukarıda belirttiğiniz gibi). Ancak ML ile donatılmış modeller hala yuvalanmıştır, çünkü belirtilen modeldeki olasılığı en üst düzeye çıkarıyorsunuz.

— Livius

Olabilirlik oranı testleri, iki olasılık oranına dayanan istatistiksel hipotez testleridir. Özellikleri maksimum olabilirlik kestirimiyle (MLE) bağlantılıdır. (bakınız layman terimleriyle Maksimum Olabilirlik Tahmini (MLE) ).

Durumda da 'Diyelim ki var-COVAR olan bir model arasında seçim yapmak istediğinizi varsayalım, iç içe geçmiş iki var-COVAR modeller arasında' 'seçim' isteyen (soruya bakın) ve var-COVAR olan bir modeli (basit model) birincisinin (genel olanın) özel bir olduğu . $\Sigma_g$ $\Sigma_s$

Test, olabilirlik oranına dayanmaktadır. . Burada ve maksimum olabilirlik tahmin vardır. $LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

İstatistik olduğu asimptotik (!) . $LR$ $\chi^2$

Maksimum olabilirlik tahmin edicilerinin tutarlı olduğu bilinmektedir, ancak çoğu durumda yanlıdırlar. Bu, ve varyansı için MLE tahmin edicileri için önyargılı olduklarını gösterebilir. Bunun nedeni, verilerden türetilen bir ortalama kullanılarak hesaplanmasıdır, böylece bu 'tahmini ortalama' etrafındaki yayılma, gerçek ortalamanın etrafındaki yayılmadan daha küçüktür (bkz. Örneğin standart sapmayı hesaplarken bölme sezgisel açıklaması ? ) $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $n-1$

İstatistik üzerindedir bu sırf büyük numunelerde, gerçeği olduğu, büyük numunelerde ve gerçek değerlerine yakınsama (MLE tutarlıdır ). (Not: yukarıdaki bağlantıda, çok büyük örnekler için n'ye veya (n-1) 'e bölünmesi fark yaratmaz) $LR$ $\chi^2$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

Daha küçük örnekler için MLE ait tahminleri ve önyargılı edilecek ve dolayısıyla dağılımı olacaktır sapma dan REML tahminleri için tarafsız tahminler verecektir ederken, ve , bu nedenle, var-covar modelinin seçimi için kullanırsanız, REML , daha küçük numuneler için tarafından daha iyi tahmin edileceğini tahmin eder . $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $LR$ $\chi^2$ $\Sigma_s$ $\Sigma_g$ $LR$ $\chi^2$

REML'nin sadece aynı ortalamaya sahip modellerin iç içe var-kovar yapıları arasından seçim yapmak için kullanılması gerektiğini unutmayın, farklı araçlara sahip modeller için REML uygun değildir, farklı araçlara sahip modeller için bir ML kullanılmalıdır.

"İstatistik LR, asimptotik olarak (!) Χ2" ifadesi bu durumda doğru değildir. Eğer olmasıdır iç içe ardından sınırlarında yer . Bu durumda, dağıtımı tutmaz. Örneğin, buraya bakın

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

χ^{2}

$\chi^2$

— Cliff AB

@Cliff AB, bu ifadenin altında açıklanan şey budur ve REML'yi kullanmanızın nedeni budur.

-4

Benim sağduyumla ilgisi daha fazla olan bir istatistik var. SAS'ta PROC MIXED'e bakarsanız, tahmin altı yöntemle gerçekleştirilebilir:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

ancak REML varsayılan değerdir. Neden? Görünüşe göre, pratik deneyim en iyi performansa sahip olduğunu gösterdi (örneğin, en yakınsama problemleri olasılığı). Bu nedenle, hedefinize REML ile ulaşılabilirse, REML'yi diğer beş yöntemin aksine kullanmak mantıklıdır.

— James
kaynak

'Büyük örnek teorisi' ve MLE tahminlerinin yanlılığı ile ilgilidir, cevabımı gör.

"Bu SAS'ta varsayılan" Bu sitede "neden" sorusuna kabul edilebilir bir cevap değil.

— Paul

SAS tarafından varsayılan olarak sağlanan karma modeller için p değerleri, güvenilmez olduğu için R için lme4 kitaplığında tasarım tarafından kullanılamaz ( stat.ethz.ch/pipermail/r-help/2006-May/094765.html ). Yani "varsayılan SAS" bile yanlış olabilir.

— Tim