Maksimum Olabilirlik Tahmini - birçok durumda taraflı olmasına rağmen neden kullanılır?

Maksimum olabilirlik tahmini genellikle taraflı tahmin edicilere yol açar (örneğin, örnek varyans için olan tahmin Gauss dağılımı için önyargılıdır).

Sonra ne bu kadar popüler kılan? Tam olarak neden bu kadar çok kullanılıyor? Ayrıca, onu alternatif yaklaşımdan daha iyi yapan şey nedir?

Ayrıca, Gaussian için MLE tahmincisinin basit bir ölçeklemesinin onu tarafsız kıldığını fark ettim. Bu ölçeklendirme neden standart bir prosedür değil? Demek istediğim - Neden MLE hesaplamasından sonra, tahmin ediciyi tarafsız kılmak için gerekli ölçeklendirmeyi bulmak rutin değildir? Standart uygulama, MLE tahminlerinin basit bir şekilde hesaplanması gibi görünüyor; elbette, ölçeklendirme faktörünün iyi bilindiği iyi bilinen Gaussian durumu hariç.

Tarafsızlık mutlaka kendi başına önemli değildir.

Çok sınırlı bir koşul kümesinin yanı sıra, en faydalı tahmin ediciler önyargılıdır, ancak elde edilirler.

Eğer iki tahminci aynı varyansa sahipse, tarafsız bir kişiyi tarafsız bir kişiye tercih etmek için kolayca bir argüman kurabilir, ancak bu, içinde olması olağandışı bir durumdur (yani, makul olarak tarafsızlığı tercih edebilirsiniz, ceteris paribus - ama bu sinir bozucu ceteris neredeyse hiçbir zaman paribus değildir ).

Daha genel olarak, tarafsızlığı istiyorsanız, onu elde etmek için bazı değişiklikler ekleyeceksiniz ve o zaman soru neden bunu yapardınız ?

Önyargı, tahmin edicimin beklenen değerinin ortalama olarak çok yüksek olacağı (negatif önyargı çok düşük).

Küçük bir örnek tahmincisi göz önüne alındığında, bunu gerçekten umursamıyorum. Tahmin edicimin bu durumda ne kadar yanlış olacağına genellikle daha fazla ilgi duyuyorum - sağdan tipik mesafem ... bir kök-ortalama-kare hatası veya ortalama bir mutlak hata gibi bir şey daha anlamlı olur.

Bu nedenle, düşük varyans ve düşük önyargıdan hoşlanıyorsanız, minimum ortalama kare hata tahmincisi demek istemek mantıklı olacaktır; bunlar çok nadiren tarafsızdır.

Önyargı ve tarafsızlık, farkında olmak için faydalı bir kavramdır, ancak tahmin edicileri yalnızca aynı varyansla kıyaslamadıkça aramak, özellikle yararlı bir özellik değildir.

ML tahmin edicileri düşük varyans olma eğilimindedir; genellikle minimum MSE değildirler, ancak genellikle tarafsız olmalarını değiştirmekten daha düşük MSE'ye sahiptirler (ne zaman yapabilirsin).

$\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$$n-1$

MLE , model ve eldeki veriler göz önüne alındığında model parametrelerinin en muhtemel değerini verir - ki bu oldukça çekici bir kavramdır. Verileri herhangi bir değer kümesi arasında en muhtemel gözlemlenen değerleri seçebiliyorken, gözlemlenen verileri daha az olası hale getiren parametre değerlerini neden seçtiniz ? Bu özelliği tarafsızlık için feda etmek ister misiniz? Cevabın her zaman net olduğunu söylemiyorum ama MLE'nin motivasyonu oldukça güçlü ve sezgisel.

Ayrıca, MLE, bildiğim kadarıyla, anların yönteminden daha yaygın olarak uygulanabilir. MLE gizli değişkenlerde daha doğal görünür; örneğin, hareketli bir ortalama (MA) modeli veya genelleştirilmiş bir otoregresif koşullu heteroskedasticity (GARCH) modeli, doğrudan MLE tarafından tahmin edilebilir (doğrudan demek istediğim, bir olasılık fonksiyonunu belirtip bir optimizasyon rutini için sunması yeterlidir) - ama Momentler metodu ile değil (Momentler metodunu kullanan dolaylı çözümler mevcut olsa da).

Aslında, en çok olabilirlik ölçeklendirme tarafsız tahminleri elde etmek için tahmin olduğunu pek tahmin problemlerinin standart prosedür. Bunun nedeni, farenin yeterli istatistiklerin bir fonksiyonudur ve Rao-Blackwell teoremi tarafından, eğer yeterli istatistiklere dayanan tarafsız bir tahminci bulabilirseniz, o zaman Minimum Varyansa Özel Olmayan Tahmincisine sahip olursunuz.

Sorunuzun bundan daha genel olduğunu biliyorum ama vurgulamak istediğim şey, temel kavramların buna dayalı olasılık ve tahminlerle yakından ilgili olduğudur. Bu tahminler sonlu örneklerde tarafsız olmayabilir, ancak bunlar asimptotik olarak öyledirler ve ayrıca asimptotik olarak verimlidirler, yani her zaman MOM tahmin edicileri için geçerli olmayabilir, tarafsız tahmin ediciler için varyansa bağlı Cramer-Rao varyansı elde ederler.

MLE'nin neden bu kadar popüler olduğu sorunuzu yanıtlamak için, önyargılı olabilmesine rağmen, standart koşullar altında tutarlı olduğunu düşünün. Ek olarak, asimptotik olarak verimlidir, bu nedenle en azından büyük numuneler için, MLE'nin pişirebileceğiniz diğer tahmin ediciler kadar iyi veya daha iyi yapması muhtemeldir. Son olarak, MLE basit bir tarifle bulunur; olabilirlik fonksiyonunu al ve maksimize et. Bazı durumlarda, bu tarifi takip etmek zor olabilir, ancak çoğu sorun için değildir. Artı, bu tahminde bulunduktan sonra, Fisher'ın bilgilerini kullanarak asimptotik standart hataları derhal türetebiliriz. Fisher'ın bilgilerini kullanmadan , hata sınırlarını türetmek genellikle çok zordur.

Bu nedenle, MLE tahmininin tahmin ediciye çok sık gitmesidir (eğer bir Bayesian değilseniz); Uygulaması kolaydır ve pişirmek için daha fazla iş yapmanız gereken herhangi bir şeyden daha iyi değilse, o kadar iyi olması muhtemeldir.

Bazen (çoğu zaman) bir MLE tahmincisi kullandığımızı da eklerdim, çünkü sahip olduğumuz buydu, ideal bir dünyada istediğimiz gibi olmasa bile. (Genellikle istatistiği mühendislik gibi, ne elde ettiğimizi, istediğimizi değil, kullandığımızı düşünüyorum.) Çoğu durumda, MLE için tanımlamak ve çözmek ve sonra yinelemeli bir yaklaşım kullanarak bir değer elde etmek kolaydır. Belirli bir durumda verilen bir parametre için daha iyi bir tahminci olabilirken ("daha iyi" bir değer için) olabilir, ancak bulunması çok zekice olmayı gerektirebilir; ve akıllı olmayı bitirdiğinde, hala sadece belirli bir problem için daha iyi bir tahminciye sahipsin.