“Sınırlı azami ihtimal” nedir ve ne zaman kullanılmalıdır?

73

Bu yazının özetinde şunu okudum :

“Hartley aud Rao'nun maksimum olabilirlik (ML) prosedürü, olasılıkı sabit etkilerden arınmış olan ve normalliği iki bölüme ayıran Patterson ve Thompson'dan bir dönüşümü uyarlayarak değiştirilir. (REML) tahmin edicileri. "

Ayrıca bu yazının özetini de okuduğumu okudum :

"Sabit etkilerin tahmin edilmesinden kaynaklanan serbestlik derecelerini dikkate alır."

Ne yazık ki bu makalelerin tam metnine erişemiyorum (ve yaparsam muhtemelen anlamazdım).

Ayrıca, REML'in ML'ye karşı avantajları nelerdir? Hangi koşullar altında REML, karışık etkiler modelini takarken ML'den (veya tersi) tercih edilebilir? Lütfen lise (veya hemen ötesi) matematik geçmişine sahip birisine uygun bir açıklama yapınız!

mixed-model maximum-likelihood reml

— Joe King
kaynak

bkz stats.stackexchange.com/questions/99895/...

62

Ocram'ın cevabına göre, ML, varyans bileşenlerinin tahmini için önyargılıdır. Ancak, önyargının daha büyük örneklem boyutları için daha küçük olduğunu gözlemleyin. Bu nedenle, sorularınıza cevaben " ... REML'in ML'ye karşı ML'nin avantajları nelerdir? REML hangi şartlar altında, MLEM (veya bunun tersi) karışık etki modelini takarken tercih edilebilir? ", Küçük numune boyutları için REML tercih edilir. Bununla birlikte, REML için olasılık oranı testleri, her iki modelde de aynı sabit etki spesifikasyonunu gerektirir. Bu nedenle, farklı sabit etkilere sahip modelleri (ortak bir senaryo) bir LR testiyle karşılaştırmak için ML kullanılmalıdır.

REML, tahmin edilen (sabit efektler) parametrelerin sayısını dikkate alarak, her biri için 1 serbestlik derecesi kaybeder. Bu, sabit etkilerden bağımsız olan en az kareler artıklarına ML uygulanarak elde edilir.

— Robert Long
kaynak

8

Gerçekten de, bir varyans bileşeninin REML tahmincisi genellikle (yaklaşık olarak) tarafsızdır, ML tahmincisi ise negatif olarak önyargılıdır. Bununla birlikte, ML tahmincisi genellikle REML tahmincisinden daha düşük ortalama kare hataya (MSE) sahiptir. Yani, ortalama olarak doğru olmak istiyorsanız, REML’e gidin, ancak bunun için tahminlerde daha büyük değişkenliklerle ödeme yaparsınız. Ortalama olarak gerçek değere daha yakın olmak istiyorsanız, ML ile gidin, ancak bunun için olumsuz önyargıyla ödeme yaparsınız.

— Wolfgang

3

Sabit bir ortalama ve sabit varyansın basit durumunda, ML, SSR'yi ile bölmekte olup, REML, SSR'yi bölmektedir . Yani REML bu prosedürün bir genellemesidir!

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen 16

"ML, varyans bileşenlerinin tahmini için önyargılıdır". Bu, rastgele etkilerin varyansı veya sabit etki katsayılarının standart hataları anlamına mı geliyor?

— Ocak'ta skan

54

İşte hızlı bir cevap ...

Standart açıklayıcı örnek

Let bir normal dağılım ile ilgili bir örnek olarak ). Hem hem de bilinmiyor. Maksimum olabilirlik tahmin ile ilgili olarak, log-olabilirlik türevi ile elde edilen, ve sıfıra denk olduğu burada değerinin maksimum olasılık tahmincisidir . olduğunu gösterebiliriz [ Yeniden yazmaya başla $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ olarak ]. Bu nedenle, önyargılıdır. bilseydik , o zaman için MLE tarafsız olurdu. Bu nedenle, ile ilgili sorun , tahminde bilinmeyen ortalama için yerine kullandığımız gerçeğiyle bağlantılı görünmektedir . REML tahmininin sezgisel fikri, hakkındaki tüm bilgileri içeren ancak artık hakkındaki bilgiyi içermeyen bir olasılıkla sonuçlanmaktır .

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

Daha teknik olarak, REML olasılığı, orijinal verinin doğrusal kombinasyonlarının olasılığıdır: olasılığı olması yerine, matrisinin olduğu gibi olasılığını dikkate alırız . $y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

REML tahmini genellikle karma modellerin daha karmaşık bağlamında kullanılır. Karışık modellerdeki her kitap, REML tahminini daha ayrıntılı olarak açıklayan bir bölüme sahiptir.

Düzenle

@Joe King: İşte tamamen çevrimiçi olan karma modellerde en sevdiğim kitaplardan biri. Bölüm 2.4.2, varyans tahmin bileşenleriyle ilgilidir. Okumanın tadını çıkar :-)

— ocram
kaynak

Teşekkürler - bu yararlıdır - ancak karışık modellerdeki kitaplara kolay erişimim yok. Lütfen cevabınızı gönderimdeki 2 alıntıyla ilişkilendirir misiniz?

— Joe King,

Çok değişkenli bir Gauss'un hikayeyi nasıl değiştirdiğini merak ediyorum? stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

ML metodu varyans parametrelerini küçümsemektedir, çünkü varyans parametrelerinin tahmininde sabit parametrelerin belirsizlik olmadan bilindiğini varsaymaktadır.

REML yöntemi, varyans parametreleri için tahminleri sabit etkiler tahminlerinden bağımsız olarak yapmak için matematiksel bir numara kullanır. REML ilk önce, modelin sabit etkiler kısmı tarafından modellenen gözlemler için regresyon artıkları alarak çalışır, bu noktada herhangi bir varyans bileşeni görmezden gelir.

ML tahminleri sabit etkiler için tarafsızdır ancak rastgele etkiler için önyargılıdır, oysa REML tahminleri sabit etkiler için önyargılı ve rastgele etkiler için tarafsızdır.

— Skan
kaynak