Momentler Yöntemi nedir ve MLE'den farkı nedir?

13

Genel olarak, momentler yöntemi sadece gözlemlenen örnek ortalamasını veya parametre tahminlerini almak için teorik momentlere uyumu göstermektedir. Bu genellikle üstel aileler için MLE ile aynıdır, topladım.

Ancak, anlar yönteminin net bir tanımını bulmak ve olasılık işlevinin modunu bulmak daha zor olsa da, MLE'nin neden genel olarak tercih edildiğine dair net bir tartışma bulmak zordur.

Bu soru MLE Moment yönteminden daha mı verimli? Donald Rubin'den (Harvard'da) MLE'nin MoM'yi dövdüğünü herkesin bildiğini söyleyen bir alıntı var, ancak bunun tarihini veya mantığını bilmek istiyorum.

maximum-likelihood method-of-moments

— frelk
kaynak

2

İşte MLE / MoM'nin artılarını / eksilerini tartışan bir sunum: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Jon

Anlarda siteyi tartışma yönteminin cevaplarının birçoğu anlamanıza yardımcı olabilir.

— Glen_b

Ayrıca bkz. İstatistik.stackexchange.com/a/129188/28746

— Alecos Papadopoulos

1

@Jon: Ölü bağlantı.

— Ben - Monica'yı

7

$E[g(y,x,\theta)] = 0$ $x$

MLE'de tahminci, günlük olabilirlik işlevini en üst düzeye çıkarır.

Geniş genellemede, MLE daha katı varsayımlar yapar (tam yoğunluk) ve bu nedenle varsayımlar karşılanırsa tipik olarak daha az sağlam ancak daha verimlidir (Kramer Rao'nun asimptotik varyansta alt sınırına ulaşmasını sağlar).

Bazı durumlarda ikisi çakışır, OLS analitik çözümün aynı olduğu ve dolayısıyla tahmin edicinin aynı şekilde davrandığı dikkate değer bir örnektir.

Bir anlamda, bir MLE'yi (neredeyse tüm durumlarda) bir MoM tahmincisi olarak düşünebilirsiniz, çünkü tahminci, günlük olabilirlik fonksiyonunun gradyanının beklenen değerini sıfıra eşit olarak ayarlar. Bu anlamda, yoğunluğun yanlış olduğu ancak MLE'nin hala tutarlı olduğu, çünkü birinci dereceden koşulların hala karşılandığı durumlar vardır. Daha sonra MLE'ye "yarı-ML" denir.

— Superpronker
kaynak

4

Genellikle, MoM olanlar g işlevinin bir miktar güç olduğu ve bu yüzden beklentinin bir an olduğu durumu ifade eder. Bu daha çok “genelleştirilmiş anlar yöntemi” ne benziyor.

— kjetil b halvorsen

3

OLS, moment tahmini (MoME) yöntemidir. Aynı zamanda bir maksimum olabilirlik tahmincisidir (MLE), ancak sadece özel bir olasılık durumu için - normal olanı. Başka bir dağıtım için, OLS hala bir MoME iken MLE olmayacaktır.

— Richard Hardy

2

Anların yöntemi nedir?

Wikipedia'da bununla ilgili güzel bir makale var.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Bu, popülasyon dağılımının örnekteki gözlemlenen anlara eşdeğer momentlere sahip olacağı şekilde parametreleri seçerek popülasyon parametrelerini tahmin ettiğiniz anlamına gelir.

MLE'den farkı nedir

Maksimum olabilirlik tahmini, olabilirlik işlevini en aza indirir. Bazı durumlarda bu minimum, popülasyon parametrelerini örnek parametrelere eşit olarak ayarlamak açısından bazen ifade edilebilir.

$\mu = \bar{x}$ $\mu$

μ = 1 / n \sum l n (x_{i}) = \bar{l n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Oysa MoM çözümü çözüyor

e x p (μ + \frac{1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

μ = l n (\bar{x}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Bu nedenle MoM, parametreleri tahmin etmenin pratik bir yoludur ve genellikle MLE ile aynı sonuca götürür (örneğin, örnek anları genellikle popülasyonun anlarıyla çakışır, örneğin örnek ortalaması, popülasyon ortalaması etrafında dağıtılır ve bazı faktörlere / önyargılara kadar çok iyi çalışır). MLE daha güçlü bir teorik temele sahiptir ve örneğin Fisher matrisini (veya tahminlerini) kullanarak hataların tahmin edilmesine izin verir ve regresyon sorunları durumunda çok daha doğal bir yaklaşımdır (denemedim ama sanırım Basit bir doğrusal regresyonda parametreleri çözmek için bir MoMkolay çalışmaz ve kötü sonuçlar verebilir. Süperpronker'ın cevabında, bu bir fonksiyonun en aza indirilmesi ile yapılmış gibi görünüyor. MLE için bu minimizasyon daha yüksek olasılık ifade eder, ancak MoM için benzer bir şeyi temsil edip etmediğini merak ediyorum).

— Sextus Empiricus
kaynak

1

Soorry, yorumları geçemiyorum ..

MLE daha katı varsayımlar (tam yoğunluk) yapar ve bu nedenle varsayımlar karşılandığında genellikle daha az sağlam ancak daha verimlidir

Aslında MITx " İstatistiğin Temelleri " nde bunun tersi öğretilir , MoM anların belirli denklemine dayanır ve yanlış yoğunluğu alırsak, MLE daha dirençlidir, her durumda en aza indirdiğimiz için KD ayrışması ..

— Antonello
kaynak

İtibar eksikliği, bir yorumun cevabının alanını kullanmak için meşru bir mazeret değildir.

— Michael R. Chernick