Maksimum olabilirlik kestirimi (MLE) ve Bayes Teoreminin karşılaştırılması

12

Bayesian teoremi, içinde , ve ben okuyorum kitaptan denir olabilirlik , ama sadece varsayıyoruz koşullu olasılık ait verilen , doğru mu?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

En büyük olabilirlik kestirimi çalışır maksimize etmek doğru? Eğer öyleyse, kafam karıştı, çünkü ikisi de rastgele değişken, değil mi? Maksimize etmek için sadece bulmaktır ? Bir sorun daha, eğer bu 2 rasgele değişken bağımsız ise, sadece , değil mi? Daha sonra değerini en üst düzeye çıkarmak, değerini en üst düzeye çıkarmaktır . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Ya da belki, bazı parametrelerin bir fonksiyonudur olduğunu ve MLE bulmaya çalışır maksimize edebilirsiniz ? Ya da aslında modelin parametreleri, rastgele değişken değil, en yüksek seviyedeki ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

GÜNCELLEME

Makine öğrenimi konusunda acemi biriyim ve bu sorun, bir makine öğrenimi öğreticisinden okuduğum şeylerden kaynaklanan bir karışıklık. Burada, gözlenen bir veri kümesi hedef değerler ve bu veri kümesine bir model yerleştirmeye çalışıyorum , bu nedenle, verildiğinde , tarafından parametrelenen adında bir dağıtım biçimi olduğunu, olduğunu ve bunun arka olasılık olduğunu varsayıyorum , değil mi? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Şimdi değerini tahmin etmek için MLE kullanıyorum. Tamam, işte benim sorunum, sanırım , değil mi? Olabilirlik araçlarını buna hakkım almalı maksimize ve ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Olabilirlik anlayışım yanlışsa, lütfen bana doğru yolu gösterin.

bayesian maximum-likelihood

— Avokado
kaynak

Bence kafa karışıklığı şudur: Bayes'in teoremi , sorunuzun başında verdiğiniz koşullu olasılıkların manipülasyonudur. Bayes Tahmin parametre tahminlerini yapmak için Bayes teoremi kullanır. Sadece ikincisinde, maksimum olabilirlik kestirimini (MLE) yapın ve teta, vs. parametresi devreye girer.

— Zhubarb

@Berkan, aslında verildiğinde olasılıkın ne olduğunu anlamaya çalışıyorum .

x, y, θ

$x,y,\theta$

— avokado

1

Görüyorum ki, parametre kestiriminde bu harika giriş dersi slaytlarına göz atmanızı tavsiye ederim .

— Zhubarb

1

Okunması gereken bir diğer harika konu da Ampirical Bayes Tahmincileri. Sınıfımdakileri

— bdeonovic

16

Temel yanlış anlama, sorunuzun ilk yarısında sorduğunuz sorulardan kaynaklanıyor. Bu cevaba zıt MLE ve Bayesci çıkarımsal paradigmalar olarak yaklaşıyorum. MLE hakkında çok yaklaşılabilir bir tartışma, Gary King'in Unifying Political Methodology bölümünün 1. bölümünde bulunabilir . Gelman'ın Bayes Veri Analizi Bayes tarafında ayrıntılar sağlayabilir.

Bayes teoreminde ve okuduğum kitaptan,olasılığı denir, ama sanırım bu sadeceverilenkoşullu olasılığıdır, değil mi?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Olasılığı olan bir koşullu olasılığı. Bir Bayes'e göre, bu formül parametresinin verisi ve önceki nin dağılımını tarif eder . Ancak bu gösterim niyetinizi yansıtmadığından, bundan sonra parametreler için ( , ) ve verileriniz için kullanacağım . $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Ancak güncellemeniz bazı dağıtım den gözlemlendiğini gösterir . Verilerimizi ve parametrelerimizi Bayes kuralında uygun yerlere yerleştirirsek, bu ek parametrelerin Bayesliler için sorun yaratmadığını tespit ederiz: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Bu ifadenin güncellemenizde peşinde olduğunuz şey olduğuna inanıyorum.

Maksimum olabilirlik tahmini değerini en üst düzeye çıkarmaya çalışır , değil mi? $p(x,y|\theta)$

Evet. MLE, eder, yani terimini tedavi eder.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

bilinmeyen (ve bilinmeyen) bir sabit olarak. Aksine, Bayesci çıkarım

normalleştirici bir sabit (olasılıkların birliğe toplaması / bütünleşmesi için) ve

anahtar bilgi olarak ele alır: önceki. Biz aklınıza gelebilecek

biz en makul olduğunu düşünüyorum bölgeden "çok uzakta dolaşıp" için optimizasyon prosedürü bir cezaya maruz bir yolu olarak.

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Eğer öyleyse, ben kötü, kafam karıştı çünkü rasgele değişkenler, doğru mu? Maksimize etmek için sadece bulmaktır ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

MLE bir olduğu varsayılır sabit sonuç çıkarılmak bilinmeyen fakat yapabiliyor miktar değil rastgele değişken. Bayes çıkarım davranır rastgele değişken olarak. Bayes çıkarsama koyar olasılık yoğunluk fonksiyonları içinde ve olasılık yoğunluk fonksiyonları alır dışarı MLE olduğu gibi daha ziyade modelin nokta özetleri yerine,. Yani, Bayesian çıkarım, tüm parametre değerleri aralığına ve her birinin olasılığına bakar. O MLE mn var olduğunu varsaymaktadır modelini verilen verilerin yeterli özetidir. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax: Monica'yı eski durumuna getirdi
kaynak

1

Cevabınız için teşekkürler, yazımı güncelliyorum, lütfen güncellememe bakın.

— avokado

Bu güncelleme soru hakkındaki anlayışımı kökten değiştirdi. Başlangıçta, sana dair sanıyordum

parametre gibi

verileriniz gibi. Görünüşe göre

veri ve

ile

arasındaki ilişkiyi tanımlayan bir model oluşturmak istiyorsunuz . Zamanım olduğu için cevabımı değiştireceğim.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax, Reinstate Monica'ya

+1 Bu hala harika bir cevap: Umarım sorudaki değişikliklerle eşleşecek şekilde değiştirseniz bile büyük ölçüde sağlam kalırsınız.

— whuber

Yanıtınızı, güncellenmiş sorunuzu yansıtacak şekilde güncelledim. Umarım bu ayrıntılar yardımcı olur. Gerçekten bahsettiğim referanslara atıfta bulunmanızı tavsiye ederim. Ve umarım @whuber hala onaylar. ;-)

— Sycorax, Reinstate Monica'ya

Çok teşekkürler güncelleme için, ben için dağılımının bir form alın rağmen Şunu böylece

, ben davranmalı

, hem ben tahmin çalışıyorum gözlemlenen veri olarak

?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— avokado

3

Normalde , parametresinin bir fonksiyonudur . Bayes teoreminin aşağıdaki reformülasyonunu düşünün: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Veya daha açık bir şekilde (olasılık kavramı ile ilgili olarak):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Somut bir örnek için, modeli düşünün

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
kaynak

Yani, tipik olarak

rasgele değişken değil,

, değil mi?

y

$y$

x

$x$

— avokado

Y genellikle X'in pdf'sindeki bir parametredir. Bayesci bir ortamda Y'nin kendisi rastgele bir değişkendir (verdiğim örnekte olduğu gibi). X | Y, demek istediğin anlamda koşullu bir olasılık da olabilir, sana bu miktarın neden olabilirlik denmesinin arkasındaki motivasyonu vermeye çalışıyordum.

— David Marx

Cevabınızda verilen somut örnek ile ilgili olarak,

aslında rastgele bir değişken mi demek istediniz , ama

dağılımında parametre olarak mı alınır?

θ

$\theta$

X

$X$

— avokado

Bir şeyin rastgele bir değişken olması parametrenin olamayacağı anlamına gelmez. Bayesci olasılığın harika dünyasına hoş geldiniz :)

— David Marx

0

"... olasılığını denir ..." $p(x|y)$

,y'nin x verildiği olasılığıdır. Olasılıkın ne olduğunu söylemek önemlidir. Ve evet, bu sadece verilen koşullu olasılığıdır. $p(x|y)$ $x$ $y$

“... eğer bu 2 rasgele değişken bağımsızsa, sadece , değil mi? Sonra 'yi en üst düzeye çıkarmak yi en üst düzeye çıkarmaktır ..." $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Eğer bağımsızlarsa, yani ise, göre sabittir . Burada dikkatli olun, neyle en üst düzeye çıkardığınızı belirtmediğiniz için - daha önce yazdıklarınızdan, göre en üst düzeye çıkardığınızı varsayarım . $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... Veya belki, bazı parametrelerin , yani bir fonksiyonudur ve MLE, maksimize edebilen yi bulmaya çalışır ? Ya y aslında modelin parametrelerinin bile, değil rasgele değişken, olasılığını maksimize bulmaktır ? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

Tanıtımı bu tamamiyle yeni bir problem kılmaktadır. Genel olarak, bu sorunun çoğunun cevabı 'duruma bağlıdır' gibi görünüyor. Parametreleri istersek olarak ifade edebilir ve bunlara göre maksimize edebiliriz. Aynı şekilde, biz maksimize bir durum olabilir parametrelere göre şu eline sorunu yaklaşan bir mantıklı yolu olsaydı. $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— basmakalıp
kaynak

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

STAN referans kılavuzundan:

Öncekiler tekdüze ise, arka mod parametrelerin maksimum olabilirlik tahminine (MLE) karşılık gelir. Eğer öncekiler aynı değilse, arka mod bazen maksimum posterior (MAP) tahmini olarak adlandırılır.

— Neerav
kaynak