Neden maksimum olabilirlik ve beklenmeyebilir?

Parametrelerin maksimum olasılık tahminlerini elde etmek neden bu kadar yaygındır, ancak neredeyse beklenen olasılık parametresi tahminlerini hiç duymazsınız (yani, bir olasılık olabilirlik fonksiyonu modundan ziyade beklenen değere dayanarak )? Bu öncelikle tarihsel nedenlerden mi, yoksa daha temel teknik veya teorik nedenlerden mi dolayı?

Azami olabilirlik tahminleri yerine beklenen olasılık tahminlerini kullanmanın önemli avantajları ve / veya dezavantajları var mı?

Beklenen olasılığı tahminleri hangi bazı alanlar var mı edilir rutin olarak kullanılan?

— Jake Westfall
kaynak

Hangi olasılık dağılımına göre beklenen değer? ML, genellikle (a) verinin verildiği (ve sabit olduğu) ve (b) parametrelerin (bilinmeyen) sabitler olarak değerlendirildiği Bayesian olmayan analizlerde uygulanır: hiçbir rasgele değişken yoktur.

— whuber

Yanıtlar:

Önerilen yöntem (yoğunluk olma olasılığını normalleştirdikten sonra), modeldeki tüm parametreler için bir daire kullanarak parametrelerin tahmin edilmesine ve tahminci olarak posterior dağılımın ortalamasının kullanılmasına eşdeğerdir. Daha önce bir daire kullanmanın sizi sıkıntıya sokabileceği durumlar vardır çünkü uygun bir posterior dağılım göstermezsiniz, bu yüzden bu durumu nasıl düzelteceğinizi bilmiyorum.

Ancak, sık sık bağlamda kalmak, yöntem pek mantıklı değil çünkü olasılık çoğu bağlamda olasılık yoğunluğu oluşturmuyor ve rastgele hiçbir şey kalmıyor, bu yüzden beklenti almak pek mantıklı değil. Şimdi bunu sadece bir tahminde bulunma ihtimalinden sonraki bir olasılık olarak uygulayabileceğimiz bir işlem olarak resmileştirebiliriz, ancak bu tahmininin sık görülen özelliklerinin nasıl görüneceğinden emin değilim (tahminin gerçekte var olduğu durumlarda).

Avantajları:

Bu, MLE'nin gerçekten bulunmadığı bazı durumlarda bir tahmin sağlayabilir.
İnatçı değilseniz, sizi bir Bayesian ortamına sürükleyebilir (ve bu muhtemelen bu tür bir tahminde bulunmanın doğal yoludur). Tamam, görüşlerinize bağlı olarak bu bir avantaj olmayabilir - ama benim.

Dezavantajları:

Bunun da olacağı garanti değil.
Dışbükey bir parametre alanımız yoksa, tahmin parametre için geçerli bir değer olmayabilir.
İşlem, reparametreye değişmez. İşlem parametrelerinizden önce düz koymaya eşdeğer olduğundan, bu parametrelerin ne olduğu konusunda bir fark yaratır (parametre olarak kullanıyoruz yoksa mi kullanıyoruz ) $\sigma$ $\sigma^2$

— Dason
kaynak

+1 Parametrelerin eşit dağılımını varsaymakla ilgili büyük sorunlardan biri, ML problemlerinin, çözümlerinin reparametreye değişmezliğinden yararlanılarak sık sık yeniden formüle edilmesidir: ancak bu, parametreler üzerindeki önceki dağılımı değiştirecektir. Bu nedenle, parametreler tekdüze bir dağılıma sahipmiş gibi bir “beklenti” almak keyfi bir yapıdır ve hatalı ve anlamsız sonuçlara yol açabilir.

— whuber

İyi bir nokta! Bunu da söyleyecektim ama geri kalanını yazarken getirmeyi unuttum.

— Dason

Kayıt için, maksimum olasılık da yeniden canlandırmaya karşı değişmez.

— Neil G

@NeilG Evet öyle mi? Belki de farklı fikirlere atıfta bulunuyoruz. Bunu söylerken ne demek istiyorsun?

— Dason

Belki de bir hata yaptım, ancak

olasılığını temsil eden bir parametreniz olduğunu varsayalım . Veriler üzerinde

parametreleriyle Beta dağılımlı bir olasılık

. Yerine oran kullanarak modelinizi parametrelenmişse olsaydı

, aynı veri parametrelerle Beta-asal ihtimalini neden olur

. İlk durumda, mod

p \in [0, 1]

$p \in [0,1]$

α = β = 2

$\alpha=\beta=2$

o \in [0, \infty)

$o \in [0, \infty)$

α = β = 2

$\alpha=\beta=2$

; ikinci durumda, mod

\frac{1}{2}

$\frac12$

olasılığına karşılık gelir

\frac{1}{3}

$\frac13$

\frac{1}{4}

$\frac14$

— Neil G

Bunun bir nedeni, maksimum olabilirlik tahmininin daha kolay olması: Parametreleri sıfırlama olasılığının türevini sıfıra ayarlarsınız ve parametreler için çözersiniz. Beklenti almak, her parametrenin olasılık sürelerini bütünleştirmek anlamına gelir.

$\{x_i\}$ $\mu=E(x)$ $\chi=E(x^2)$

Bazı durumlarda, maksimum olabilirlik parametresi beklenen olabilirlik parametresiyle aynıdır. Örneğin, yukarıdaki normal dağılımın beklenen olasılık ortalaması, maksimum olasılık ile aynıdır, çünkü ortalamanın önceliği normaldir ve normal dağılımın modu ve ortalaması çakışmaktadır. Elbette bu, diğer parametre için doğru olmayacaktır (ancak bunu parametreleştirin).

Bence en önemli sebep, muhtemelen neden parametrelerden beklenti istediğinizi düşünüyorsunuz? Genellikle bir model öğreniyorsunuz ve parametre değerleri istediğiniz her şey. Tek bir değer döndürecekseniz, geri alabileceğiniz en yüksek ihtimal olabilir mi?

— Neil G
kaynak

Son çizginize gelince: Belki - belki değil. Kayıp fonksiyonuna bağlıdır. Sadece Jake'in fikriyle oynuyordum ve görünüşe göre en fazla (X) * (n-1) / (n-2) olan X ~ Unif (0, theta), Jake'in yönteminin verdiği şey daha iyi. MLE olan maks (X) 'den MSE (en azından simülasyonlar bunu n> = 5 olduğunda gösterir). Açıkçası, Unif (0, teta) örneği tipik değildir ancak tahmin edicileri elde etmek için diğer makul yöntemlerin olduğunu göstermektedir.

— Dason

Bir standart (ve güçlü) @Dason frequentist iyi bulmak için tekniği ( yani , kabul edilebilir) tahrnincileri çeşitli priors Bayes tahmin edicileri hesaplamak etmektir. (Bkz. Örneğin , Lehmann'ın nokta tahmini hakkındaki kitabı.) Bu tür bir tahminciyi henüz keşfettiniz.

— whuber

Cevabınız için teşekkürler Neil! Parametre tahminlerini farklılaşma yoluyla elde etmenin entegrasyona göre daha kolay olduğunu söylüyorsunuz ve bunun basit problemler için (örneğin kalem ve kağıt seviyesi veya çok da ötesinde değil) bunun doğru olacağını kesinlikle görebiliyorum. Ancak, sayısal yöntemlere güvenmek zorunda olduğumuz çok daha karmaşık problemler için, entegrasyonu kullanmak gerçekten kolay olmayabilir mi? Uygulamada MLE'yi bulmak oldukça zor bir optimizasyon problemi oluşturabilir. İntegralin sayısal olarak yaklaştırılması aslında hesaplama açısından daha kolay olamaz mıydı? Yoksa çoğu durumda doğru olması pek mümkün değil mi?

— Jake Westfall

@JakeWestfall: Sayısal yöntemler kullanarak parametre alanı üzerinde nasıl bir beklenti alacaksınız? Çok büyük bir parametre alanına sahip karmaşık bir model alanında, her bir modelin olasılığını değerlendiren her şeyi birleştiremezsiniz (parametre ayarı). Tipik olarak M-adımında parametre tahmininin gerçekleştiği EM'yi çalıştıracaksınız, böylece her parametrenin dediğiniz gibi "basit problemlerden" biri olduğu ve maksimum olasılık olabilirlik parametrelerinin yeterli istatistiklerin basit beklentileri olduğu.

— Neil G

@NeilG Eh, Dason, tartıştığım yöntemin (normalizasyondan sonra), Bayesian tahminine bir düzlemle eşdeğer olduğunu ve daha sonra arka ortalamayı tahmin olarak kullandığını belirtti. Öyleyse, "Sayısal yöntemler kullanarak parametre alanı üzerinde nasıl bir beklenti alacaksınız?" Sanırım şu yöntemlerden birini kullanabileceğimizi düşünüyordum: bayesian-inference.com/numericalapproximation Bu konuda herhangi bir fikriniz var mı?

— Jake Westfall

Bu yaklaşım var ve buna Asgari Kontrast Tahmincisi deniyor. İlgili bildiri örneği (ve içeriden diğer referanslara bakınız) https://arxiv.org/abs/0901.0655

— Danila Doroshin
kaynak