Bayesian tahmini ve maksimum olabilirlik tahminindeki fark nedir?

Lütfen bana Bayesian tahmini ve Maksimum olabilirlik tahminindeki farkı açıklayın.

bayesian maximum-likelihood

— triomphe'a
kaynak

Bayesçi tahminin türüne bağlıdır. MAP? Posterior ortalama mı? Bayes riskini bir miktar kayıp fonksiyonu için en aza indirmenin sonucu mu? Yukarıdakilerin her biri? Başka bir şey?

— Glen_b

Bu soruyu ya da benzerini burada cevapladım. stats.stackexchange.com/questions/73439/… İkisini anlamada ne gibi sorunlar yaşıyorsunuz? Daha fazla ayrıntı daha iyi bir cevap vermemize yardımcı olacaktır.

— Monica'yı

STAN referans el kitabından: "Öncelik tek tipse, arka mod parametrelerin maksimum olasılık tahminine (MLE) karşılık gelir. Öncelik tek tip değilse, arka mod bazen en fazla arka (MAP) tahmin olarak adlandırılır. "

— Neerav

@Neerav ihtiyacım olan cevap bu . thx

— javadba

Sonradan tahmin verilir Bayes maksimum spesifik durum için bir olasılıkla yararlı cevap burada .

— pglpm

Yanıtlar:

Bu çok geniş bir soru ve buradaki cevabım sadece yüzeyi biraz çizmeye başlıyor. Kavramları açıklamak için Bayes kuralını kullanacağım.

En olasılık dağılımı parametreleri bir dizi, farz edelim , en iyi veri kümesi açıklıyor . Parametreleri Bayes Kuralı'nın yardımıyla tahmin etmek isteyebiliriz : $\theta$ $D$ $\theta$

p (θ | D) = \frac{p (D | θ) * p (θ)}{p (D)}

$p(\theta|D)=\frac{p(D|\theta) * p(\theta)}{p(D)}$

p o s t e r i o r = \frac{l i k e l i h o o d * p r i o r}{e v i d e n c e}

$posterior = \frac{likelihood * prior}{evidence}$

Açıklamalar aşağıdaki gibidir:

Maksimum Olabilirlik Tahmini

$\theta$ $p(D|\theta)$ $\hat{\theta}$ $\hat{\theta}$

Başka bir deyişle, yukarıdaki denklemde MLE, terimini ele alır. $\frac{p(\theta)}{p(D)}$ $p(\theta)$ $\theta$

Bayes Tahmini

$p(\theta|D)$ $\theta$

$\theta$ $p(\theta|D)$ $\theta$ $\theta$ $\theta$

$evidence$

p (D) = \int_{θ} p (D | θ) * p (θ) d θ

$p(D) = \int_{\theta} p(D|\theta) * p(\theta) d\theta$

Bu, Bayesçi tahminde 'eşlenik öncelikler' kavramına yol açar. Belirli bir olasılık işlevi için, önceki inançlarımızı nasıl ifade ettiğimiz konusunda bir seçeneğimiz varsa, yukarıda gösterilen entegrasyonu gerçekleştirmemize izin veren formu kullanmalıyız. Konjugat önceliği fikri ve pratikte nasıl uygulandıkları, bu yazıda COOlSerdash tarafından oldukça iyi açıklanmıştır .

— Zhubarb
kaynak

Bu konuda daha fazla detay verir misiniz? : "Bayes kuralındaki payda, yani kanıt."

— Daniel

Cevabımı uzattım.

— Zhubarb

Buradaki denklemde @Berkan, P (D | theta) olabilir. Bununla birlikte, olabilirlik işlevi P (teta | D) olarak tanımlanmıştır, yani verinin parametresinin işlevidir. Bu konuda hep kafam karıştı. Olabilirlik terimi burada farklı şeylere atıfta bulunuyor mu? Bunu açıklayabilir misiniz? Çok teşekkürler!

— zesla

@zesla eğer benim fikrim doğruysa, P (theta | D) olabilir. Bu, örneklerin sahip olduğu veri kaynağına koşullu theta'nın dağılımıdır. Olabilirlik dediğiniz gibi: P (D | theta) - verilerinizin theta tarafından parametrelendirildiği şekilde dağılımı ya da belki de daha sezgisel bir ifadeyle, “ne gördüğünüzü” teta'nın bir işlevi olarak görme imkanı. bu mantıklı mı? Diğer herkes: lütfen beni yanlış olduğum yerde düzelt.

— grisaitis

@zesla, grisaitis tarafından verilen açıklama doğrudur.

— Zhubarb

Parametrik çıkarımda olduğu gibi nokta tahmininden bahsettiğinizi düşünüyorum, böylece bir veri üretme mekanizması için parametrik bir olasılık modeli varsayabiliriz, ancak parametrenin gerçek değeri bilinmemektedir.

Maksimum olabilirlik tahmini, veriler için bir olasılık modeli kullanmak ve gözlemlenen verilerin ortak olabilirlik fonksiyonunu bir veya daha fazla parametre üzerinde optimize etmek anlamına gelir. Bu nedenle, tahmin edilen parametrelerin, parametre alanındaki diğer parametrelere göre gözlemlenen verilerle en tutarlı olduğu görülmüştür. Bu olasılık fonksiyonlarının, parametrelerin rastgele değişken olmadığı için parametrelere "şartlı" olarak bakmadıklarını, dolayısıyla iki farklı parametreyi karşılaştırarak çeşitli sonuçların olasılığını kavramak için biraz daha karmaşık olduğunu unutmayın. Bunun felsefi olarak sağlam bir yaklaşım olduğu ortaya çıktı.

Bayesian tahmini biraz daha genel çünkü biz muhtemelen Bayesian benzerliğini en üst düzeye çıkarmak zorunda değiliz (posterior yoğunluk). Bununla birlikte, benzer tipte bir tahmin (veya arka mod tahmini) verilere bağlı olan arka parametrenin olasılığını maksimize ettiği görülmektedir. Genellikle, Bayes'in bu şekilde elde ettiği tahminler, neredeyse ML'ninkilerle aynı şekilde hareket eder. Temel fark, Bayes çıkarımının açık bir yönteme önceden bilgi eklemesine izin vermesidir.

Ayrıca 'Maksimum Olabilirlik Destanı Tarihi aydınlatıcı bir okuma yapar

http://arxiv.org/pdf/0804.2996.pdf

— Adamo
kaynak

Bu konuda daha fazla detay verir misiniz? "Bununla birlikte, benzer tipte bir tahmin (veya arka mod tahmini), verilere bağlı olan arka parametrenin olasılığını maksimize ettiği görülmektedir."

— Daniel,

Poster modu biraz yanıltıcıdır, çünkü sürekli DF'ler ile değer iyi tanımlanmıştır. Posterior yoğunluklar, frekansçı durumdaki olasılıkla ilişkilidir, ancak parametreleri posterior yoğunluktan simüle etmenize izin verir. İlginçtir, en sezgisel olarak "arka ortalamanın" parametrenin en iyi nokta tahmini olduğunu düşünüyor. Bu yaklaşım sıklıkla yapılır ve simetrik tek modal yoğunluklar için bu, ML ile tutarlı olan geçerli güvenilir aralıklar oluşturur. Arka mod sadece arka yoğunluğun zirvesindeki parametre değeridir.

— AdamO

"Bu, ML ile tutarlı olan geçerli güvenilir aralıklar üretir." Hakkında: Gerçekten de modele bağlı, değil mi? Tutarlı olabilirler veya olmayabilirler ...

— Daniel

Temel parametrik varsayımların temeli, tamamen parametrik ve yarı parametrik olmayan veya parametrik olmayan çıkarımlar hakkındaki bir tartışmayı motive eder . Bu, ML'ye karşı Bayesian sorunu değil ve bu hatayı yapan ilk kişi siz değilsiniz. ML tamamen parametrik bir yaklaşımdır, SP veya NP'nin yapamayacağı bazı şeyleri tahmin etmenizi sağlar (ve yapabildiklerinde genellikle daha verimlidir). ML'de olasılık modelinin doğru şekilde belirtilmesi, tam olarak doğru ve önceki tüm sağlamlık özelliklerini (ve duyarlılık sorunlarını) seçmek gibi bir şeydir.

— AdamO

Btw, yorumların aklımda bu soruyu ateşledi. Bu konuda yorumunuz var mı? stats.stackexchange.com/questions/74164/…

— Daniel

Bayesian tahmini, Bayesian çıkarımı, MLE ise sıkça yapılan bir çıkarım yöntemidir.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $likelihood = \frac{posterior * evidence}{prior}$ $p(\theta) = 1/6$

MLE'nin Bayesian çıkarımındaki alternatifi maksimum posteriori tahmini (kısaca MAP) olarak adlandırılır ve aslında MLE, yukarıda gördüğümüz gibi ve Wikipedia'da belirtildiği gibi öncekinin tek biçimli olduğu özel bir MAP vakasıdır :

Bayesci çıkarım açısından, MLE, parametrelerin düzgün bir şekilde önceden dağıldığını varsayan maksimum bir posteriori kestiriminin (MAP) özel bir halidir.

Ayrıntılar için bu harika makaleye bakınız: MLE vs MAP: Maksimum Olabilirlik ve Maksimum A Posteriori Tahmini arasındaki bağlantı .

Ve bir başka fark azami ihtimalin fazlaca eğilimli olmasıdır, ancak Bayesian yaklaşımını benimserseniz aşırı uydurma problemi önlenebilir.

— Lerner Zhang
kaynak

Bayes hakkındaki en güzel şeylerden biri, herhangi bir puan tahmini hesaplamak zorunda olmadığınızdır. Tüm arka yoğunluk sizin "tahmininiz" olabilir.

— Frank Harrell

@FrankHarrell Sevgili Prof. Harrell, bir yerde korkunç hatalar yaparsam cevabı düzenlememe yardım eder misiniz? Çok teşekkürler!

— Lerner Zhang,

Bir hata yaptığını ima etmek istemedim.

— Frank Harrell

@lerner: Maksimum olasılık tahminini maksimum posteriori tahmininin özel bir örneği olarak belirlemeye karşı uyarmak istiyorum (önceki sabit ise): bu cevabın nedenini gör .

— pglpm