Maksimum olasılık ne zaman çalışır ve ne zaman işe yaramaz?

Örneğin aritmetik ortalamanın hesaplanmasına kıyasla maksimum olabilirlik yöntemi hakkında kafam karıştı.

Maksimum olasılık ne zaman ve neden örneğin aritmetik ortalamadan "daha iyi" tahminler üretir? Bu nasıl doğrulanabilir?

maximum-likelihood

— mavavilj
kaynak

+1 Bu herhangi bir istatistiksel prosedürü sormak için iyi bir soru.

— whuber

Bu sorunun çok belirsiz olduğunu düşünmüyorum. Kesinlikle OP belirsizdir, ama bu yüzden soruyorlar. MLE'nin doğası ve aritmetik araçlarla ilgili konular iyi bir cevapla giderilmelidir.

— gung - Monica'yı eski durumuna döndürün

"Daha iyi" ile ne demek istiyorsun? Ve aritmetik neden keyfi bir parametrenin iyi bir tahmincisi olsun?

— Xi'an

Soru, daha önce "daha iyi", yani bir kayıp fonksiyonunun veya tahmin edicilerin karşılaştırılmasına izin veren başka bir kriter tanımlanmadan cevaplanamaz. Örneğin, MLE etkilidir, yani daha küçük asimptotik varyansa sahip bir tahminci yoktur (bazı düzenlilik koşulları altında). Örneğin MLE , Stein etkisi ile gösterildiği gibi kabul edilemez , yani, numunenin dağılımı ve parametrenin boyutu ile ilgili bazı kısıtlamalar altında parametrenin tüm değerleri için daha küçük karesel risk taşıyan tahminciler vardır.

— Xi'an

@ Xi'an Bu bir cevabın temeli gibi geliyor.

— whuber

Yanıtlar:

Aritmetik ortalama "doğal" tahmin edici olarak de, neden tercih edilmesi gerektiğini sorabiliriz! Aritmetik ortalama ile ilişkili tek kesin özellik, un tarafsız bir tahmincisi olmasıdır. $\bar{x}$ $\mathbb{E}[X]$ , bu beklenti tanımlandığında . (Cauchy dağılımını bir karşı örnek olarak düşünün.) Daha sonra, olasılık fonksiyonu üzerinde düzenlilik koşulları altında çok çeşitli özelliklere sahiptir. Vikipedi sayfasından ödünç almak için MLE

tutarlı
asimptotik olarak normal
minimum asimtotik varyansı elde etmesi açısından verimli
iki dönüşümlü değişimler altında değişmez
kısıtlı parametre setleri için bile parametre seti içinde

Aritmetik ortalama ile karşılaştırıldığında, bu özelliklerin çoğu da düzenli düzenli dağılımlar için tatmin edilir. Üstel aileler söz konusu olduğunda, MLE ve aritmetik ortalama, parametreyi ortalama parametrelendirmede tahmin etmek için özdeştir (ancak diğer parametrelendirmeler için değil). Ve MLE, Cauchy dağılımından bir örnek için var olur.

Bununla birlikte, minimumluk veya kabul edilebilirlik gibi sınırlı örnek optimallik özelliklerine dönülürken, MLE'nin minimum veya kabul edilebilir olmadığı görülebilir. Örneğin , Stein etkisi , numunenin dağılımı ve parametrenin boyutu ile ilgili bazı kısıtlamalar altında parametrenin tüm değerleri için daha küçük karesel risk taşıyan tahminciler olduğunu gösterir. Bu durum ve. $x\sim\mathcal{N}_p(\theta,I_p)$ $p\ge 3$

— Xi'an
kaynak

Sadece mle hakkında açıklığa kavuşturmak için - listelenen 5 mülkün tümü popülasyon için varsayılan bir model bağlamındadır.

— olasılık

@CagdasOzgenc: evet tahakküm asimptotik olarak ihmal edilebilir, ancak tüm

için tutar ..! Bununla birlikte, James-Stein minimax tahmin edicilerinin aralığı

ile küçülür, çünkü büzülme sabiti

ile

burada

bir gözlem bileşeninin boyutu ve

varyansıdır. Asimtotik minimasiteyi hiç duymadım.

n^{'} s

$n's$

n

$n$

0

$0$

2 (p - 2) σ^{2} / n

$2(p-2)\sigma^2/n$

p

$p$

σ^{2}

$\sigma^2$

— Xi'an

"Aritmetik ortalamanın hesaplanması" ifadesini Momentler Yöntemi'ni (MoM) kullanarak tahmin olarak yorumlayalım. Yöntem, teorik soruların örnek ortalamalarını değiştirdiği için asıl soruya sadık olduğuna inanıyorum. Ayrıca @ Xi'an'ın keyfi bir parametre (keyfi bir modelden) hakkındaki kaygısını da ele alıyor.

Hala benimle iseniz, o zaman gitmek için harika bir yer olduğunu düşünüyorum anlar yöntemi küçük örneklerde maksimum olasılığı yenebilir nerede? Soru metni, "Maksimum olabilirlik tahmin edicilerinin (MLE) asemptotik olarak etkili olduğunu; genellikle moment yönteminin (MoM) tahminlerinden (farklı olduklarında) daha iyi yaptıkları için pratik sonuçları görüyoruz ve MoM tahmincilerinin MLE karşılıklarından daha küçük bir ortalama kare hatası elde etmek. Sağlanan birkaç örnek doğrusal regresyon, iki parametreli Ters Gauss dağılımı ve asimetrik üstel güç dağılımı bağlamındadır.

Bu "asimptotik verimlilik" fikri, maksimum olabilirlik tahmin edicilerinin, verileri genel olarak anlar yöntemiyle elde edemeyeceğiniz bir garanti olan en yüksek potansiyele (söz konusu parametreyi tahmin etmek için) kullanmaya yakın olduğu anlamına gelir. Maksimum olasılık her zaman ortalamalarla çalışmaktan "daha iyi" olmamakla birlikte, bu verimlilik özelliği (yalnızca sınırda ise) çoğu sık kullanılan için bir yöntemdir. Tabii ki, karşı taraf, artan veri seti boyutu ile, ortalamaları bir işlevle doğru hedefe işaret ediyorsanız, onunla devam ettiğini iddia edebilir.

— Ben Ogorek
kaynak

Maksimum olasılığın (ML) en iyi çözümü sağlamadığı birçok ünlü örnek vardır. Lucien Le Cam'ın 1990 tarihli makalesine bakın: "Maksimum Olabilirlik: bir giriş" [1] , Univ. Maryland.

En çok sevdiğim örnek, çünkü çok basit, şu:

$X_j$ $Y_j$ $j = 1,...,n$ $X_j\sim N(\mu_j,\sigma^2)$ $Y_j\sim N(\mu_j,\sigma^2)$ $j$ $X_j$ $Y_j$ $j$ $\sigma^2$

Sana cevabı vererek eğlenceyi mahvetmeyeceğim, ama (sürpriz yok) ML kullanarak bunu çözmenin iki yolu var ve farklı çözümler veriyorlar. Biri, kare artıkların "aritmetik ortalaması" dır (birinin beklediği gibi), diğeri de aritmetik ortalamanın yarısıdır. Cevabı burada Github sayfamda bulabilirsiniz.

— idnavid
kaynak