Bayes Teoreminde Neden Normalleştirici Faktör Gereklidir?

20

Bayes teoremi

P (model | veri) = \frac{P (model) x P (veri | model)}{P (veri)}

$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$

Her şey yolunda. Ama bir yerde okudum:

Temel olarak, P (veri) normalleştirici bir sabitten başka bir şey değildir, yani arka yoğunluğu bire entegre eden bir sabittir.

Bunu biliyoruz ve . $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

Bu nedenle, $P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$ da 0 ile 1 arasında olmalıdır. Böyle bir durumda, posteriorun birine entegre olmasını sağlamak için neden normalleştirici bir sabite ihtiyacımız var?

— Sreejith Ramakrishnan
kaynak

4

Eğer olasılık ile çalışırken yoğunlukları , bu yazı belirtildiği gibi, artık sonuca varabiliriz 0 <= P(model) <= 1ne de 0 <= P(data/model) <= 1, ya (hatta ikisi!) Olanların aşabileceğiniz (ve hatta sonsuz). Bkz stats.stackexchange.com/questions/4220 .

1

$1$

— whuber

1

Bu durum değildir Bu karışık gösterim verileri, bir olasılık entegre olasılığını temsil ettiği.

P (veri | model) \leq 1

$P(\textrm{data}|\textrm{model})\le 1$

— Xi'an

15

İlk olarak , "önceden x olabilirlik" integrali zorunlu olarak 1 değildir .

Aşağıdaki durumlarda doğru değildir:

ve $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

o zaman bu ürünün modele (aslında modelin parametrelerine) göre integrali 1'dir.

Gösteri. İki ayrı yoğunluk düşünün:

P (model) = [0.5, 0.5] (this is called "prior") P (data | model) = [0.80, 0.2] (this is called "likelihood")

$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\$

Eğer ikisini de çarparsanız: geçerli bir yoğunluk değildir çünkü birine entegre değildir:

[0.40, 0.25]

$[0.40, 0.25]$

0.40 + 0.25 = 0.65

$0.40 + 0.25 = 0.65$

Peki, integrali 1 olmaya zorlamak için ne yapmalıyız? Normalleştirme faktörünü kullanın:

\underset{model_params}{Σ} P (model) P (veri | model) = \underset{model_params}{Σ} P (model, veri) = P (veri) = 0.65

$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$

(fakir gösterim için özür dilerim. Aynı şey için üç farklı ifade yazdım çünkü hepsini literatürde görebilirsiniz)

İkincisi , "olabilirlik" herhangi bir şey olabilir ve yoğunluk olsa bile 1'den yüksek değerlere sahip olabilir .

@Whuber'ın dediği gibi bu faktörlerin 0 ile 1 arasında olması gerekmez. İntegrallerinin (veya toplamlarının) 1 olması gerekir.

Üçüncü [ekstra], "eşlenikler", normalleştirme sabitini bulmanıza yardımcı olacak arkadaşlarınızdır .

Sıklıkla göreceksiniz: çünkü eksik payda bu ürünü entegre ederek kolayca elde edilebilir. Not öncesinde ve olabilirlik ise bu entegrasyon bir iyi bilinen bir sonuç olacağı eşlenik .

P (model | veri) α P (veri | model) P (model)

$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$

— alberto
kaynak

+1. Posteriorun biriyle bütünleşmesi için normalleştirme sabitinin neden gerekli olduğuna dair orijinal soruyu cevaplayan tek cevap budur . Posterior ile daha sonra ne yaptığınız (örn. MCMC çıkarımı veya mutlak olasılıkların hesaplanması) farklı bir konudur.

— Pedro Mediano

P (m o d e l) = [0.5, 0.5]

$P(model)=[0.5,0.5]$

σ^{2} = 1

$\sigma^2=1$

μ

$\mu$

P (μ) = [0.5, 0.5]

$P(\mu) = [0.5, 0.5]$

μ

$\mu$

12

Sorunuzun kısa cevabı, payda olmadan, sağ taraftaki ifadenin sadece bir olasılık değil , sadece 0 ila 1 arasında değişebilen bir olasılık olmasıdır . "Normalleştirme sabiti", bir olayın meydana gelmesi, o olayın diğerine kıyasla göreceli olma olasılığı yerine.

— heropup
kaynak

8

Zaten iki geçerli cevabınız var ama iki sentimi eklememe izin verin.

Bayes teoremi genellikle şu şekilde tanımlanır:

P (model | veri) α P (model) x P (veri | model)

$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$

çünkü sabite ihtiyacınızın tek nedeni 1 ile bütünleşmesidir (diğerlerinin cevaplarına bakınız). Bayes analizi için çoğu MCMC simülasyon yaklaşımında buna gerek yoktur ve bu nedenle sabit denklemden çıkarılır. Bu yüzden çoğu simülasyon için bile gerekli değildir .

Ben seviyorum tarafından açıklama Kruschke : o formülde ilgisi yoktur, çünkü son yavrusu (sabit) uykulu.

resim açıklamasını buraya girin

"İnsanlar düz sabıkası kullandığınızda temelde anlamsız" Ayrıca bazı Andrew Gelman gibi, "overrated" ve sabit düşünün (tartışma kontrol buraya ).

— Tim
kaynak

9

+1 yavrulara giriş. "Bu cevabın yazılmasında hiçbir hayvan zarar görmedi" :)

— alberto