MLE vs MAP tahmini, ne zaman kullanılır?

14

MLE = Maksimum Olabilirlik Tahmini

MAP = Maksimum posteriori

MLE sezgisel / naiftir, çünkü sadece parametre verilen gözlem olasılığı (yani olabilirlik fonksiyonu) ile başlar ve parametrenin gözlemle en iyi anlaşmaları bulmaya çalışır . Ancak, ön bilgi dikkate alınmaz.

HARİTA, Bayes kuralı aracılığıyla ön bilgileri dikkate aldığı için daha makul görünmektedir.

İşte ilgili bir soru, ama cevap tam değil. /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

Yani, MAP çok daha iyi. Bu doğru mu? Hangisini ne zaman kullanmalıyım?

— smwikipedia
kaynak

18

Sorun kurulumunun bir parçası olarak önceden bir olasılık verilirse, bu bilgileri kullanın (yani MAP kullanın). Böyle bir ön bilgi verilmez veya varsayılmazsa, MAP mümkün değildir ve MLE makul bir yaklaşımdır.

— fasulye
kaynak

9

Düz önceliğe sahip MAP'nin ML kullanmaya eşdeğer olduğunu eklemeye değer.

— Tim

Ayrıca, matematiksel olarak "uygun" bir önceki bir şey istiyorsanız, durumunuz için bir tane varsa, bir eşlenik kullanabilirsiniz.

— fasulye

8

Bir Bayesci seninle aynı fikirde olur, bir frekansçı bunu kabul etmez. Bu bir görüş, bakış açısı ve felsefe meselesidir. Bir yöntemin her zaman diğerinden daha iyi olduğunu savunmaya çalışmak istatistik topluluğuna çok fazla zarar verdiğini düşünüyorum. Birçok sorun, Bayesci'nin öncekinden çok güçlü olmadığı sürece, benzer Bayesian ve sık görülen çözümlere sahip olacaktır.

— jsk
kaynak

7

Bu sadece bir fikir meselesi değildir. Bir tahmin edicinin diğerinden daha iyi olduğu kesin durumlar vardır.

— Tom Minka

2

@TomMinka Asla bir yöntemin diğerinden daha iyi olduğu durumlar olmadığını söylemedim! OP'nin "HARİTA daha makul görünüyor" gibi genel ifadelerine yanıt verdim. Böyle bir ifade, Bayesian yöntemlerinin her zaman daha iyi olduğu iddiasına eşdeğerdir, bu da sizin ve ben her ikisinin de aynı fikirde olmadığı bir ifade.

— jsk

şaka haklı. Bayesci ve frekansçı yaklaşımlar felsefi olarak farklıdır. Bu yüzden katı bir frekansçı Bayesci yaklaşımı kabul edilemez bulacaktır.

— Michael R.Chickick

2

Önceden doğru bilgiye sahip olduğunuzu varsayarsak, sorunun tahminde sıfır bir kayıp fonksiyonu varsa MAP daha iyidir. Kayıp sıfır değilse (ve birçok gerçek dünya probleminde değilse), o zaman MLE'nin daha düşük beklenen kayıp elde etmesi olabilir. Bu durumlarda, her ikisi de yetersiz olduğundan, kendinizi sadece iki seçenek olarak MAP ve MLE ile sınırlamamanız daha iyi olacaktır.

— Tom Minka
kaynak

Bir parametre parametreleştirmeye bağlıysa MAP tahmincisi, "0-1" kaybı buna bağlı değildir. Ona göre 0-1 çünkü tüm tahmin ediciler tipik olarak 1 olasılıkla 1 kaybedecek ve bir yaklaşım oluşturma girişimi yine parametrelendirme problemini ortaya

— adam

1

Benim görüşüme göre, sıfır-bir kayıp parametrelemeye bağlıdır, bu nedenle tutarsızlık yoktur.

— Tom Minka

0

@Bean tarafından kısa cevap çok iyi açıklıyor. Ancak, Resnik ve Hardisty tarafından başlatılmamış olan Gibbs Sampling'in konuyu daha derinlemesine inceleyen bölüm 1.1'e işaret etmek istiyorum . Bu makaleden çok küçük değişiklikler yaparak birkaç satır yazıyorum (Bu cevaplar OP'nin bütünlük uğruna bildikleri şeyleri tekrar ediyor)

MLE

Resmi olarak MLE, gözlemlenen verileri üretme olasılığı en yüksek olan seçimi (model parametresinin) üretir.

MAP

Tahmini bir MAP, gözlemlenen veriler için büyük olasılıkla verilen seçimdir. MLE'nin aksine, MAP tahmini Bayes'in Kuralını uygular, böylece tahminimiz parametrelerimizin önceki olasılık dağılımı şeklinde olmasını beklediğimiz şey hakkında önceki bilgileri dikkate alabilir.

Tutmak

MLE ve MAP tahminlerinin her ikisi de ilgili "en iyi" tanımlarına göre bize en iyi tahmini vermektedir. Ancak, MLE veya MAP olsun, tek bir tahmin kullanmanın bilgiyi attığını unutmayın. Prensipte, parametrenin herhangi bir değeri olabilir (alan adından); parametre için tek bir tahmini değer yerine tüm dağılımı dikkate alırsak daha iyi tahminler alamayabilir miyiz? Bunu yaparsak, gözlemlenen verilerden sıkabileceğimiz parametre hakkında tüm bilgileri kullanırız, X.

Bu yakalama ile hiçbirini kullanmak istemeyebiliriz. Eğer Ayrıca, daha önce, fasulye ve Tim bahsettiği zorunda bunlardan birini kullanmak, kullanım HARİTASI sen önce var eğer. Önceliğiniz yoksa, MAP MLE'ye düşer. Konjugat öncelikleri problemi analitik olarak çözmeye yardımcı olacaktır, aksi takdirde Gibbs Sampling kullanın.

— Gaurav Singhal
kaynak

0

Bildiğimiz gibi

\begin{aligned} {\hat{θ}}^{M A P} & = \arg max_{\begin{matrix} θ \end{matrix}} \log P (θ | D) \\ = \arg max_{\begin{matrix} θ \end{matrix}} \log \frac{P (D | θ) P (θ)}{P (D)} \\ = \arg max_{\begin{matrix} θ \end{matrix}} \log P (D | θ) P (θ) \\ = \arg max_{\begin{matrix} θ \end{matrix}} \underset{log-likelihood}{\underset{⏟}{\log P (D | θ)}} + \underset{regularizer}{\underset{⏟}{\log P (θ)}} \end{aligned}

$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$

Öncek düzenleyici olarak ele alınır ve önceki dağılımı biliyorsanız, örneğin doğrusal regresyonda Gaussin ( ) ve bunu eklemek daha iyidir daha iyi performans için düzenleme. $\exp(-\frac{\lambda}{2}\theta^T\theta)$

— Lerner Zhang
kaynak

-2

Veriler daha azsa ve önceden mevcutsa - "HARİTA İÇİN GİT". Çok fazla veriniz varsa, MAP MLE'ye yakınsar. Bu nedenle çok fazla veri senaryosu olması durumunda MAP yerine MLE yapmak her zaman daha iyidir.

— Heisenbug
kaynak

1

O kadar basit değil.

— Michael R.Chickick

@MichaelChernick Yanlış olabilirim. Bunu grad okulunda okudum. Yanlış yaptığım yerde beni düzeltmeni rica ediyorum.

— Heisenbug

Sıklık yaklaşımı ve Bayesci yaklaşım felsefi olarak farklıdır. Frekans yaklaşımı, tekrarlanan örneklemeye dayalı olarak model parametrelerinin değerini tahmin eder. Bayesci yaklaşım, parametreye rastgele bir değişken olarak davranır. Böylece Bayesci yaklaşımda, bir önceki dağılımı verilerle birleştiren parametrenin posterior dağılımını elde edersiniz. MLE, posterior dağılımın en yüksek zirvesini ararken, MLE sadece verinin olasılık fonksiyonuna bakarak parametreyi tahmin eder.

— Michael R.Chickick

@MichaelChernick - Girişiniz için teşekkür ederiz. Ancak yeterli veriye sahip olduğumuzda MAP MLE gibi davranmaz. MAP ifadesini kırarsak MLE terimi de alırız. Büyük miktarda veri ile MAP'deki MLE terimi öncekini devralır.

— Heisenbug

Öncekine ve veri miktarına bağlıdır. Büyük numunelerde benzer sonuçlar verebilirler. Aradaki fark yorumda. Yorumum, sizin yaptığınız kadar basit olmadığını göstermekti. Az miktarda veri ile, eğer bir öncekine sahipseniz, sadece MAP seçmek değildir. Önceden iyi seçilmiş olmayanlar kötü posterior dağılıma ve dolayısıyla zayıf bir MAP'ye yol açabilir.

— Michael R.Chickick