Bayes çıkarımından önceki Beta konjugatını bir frekans hakkında anlama

11

Aşağıda Bolstad'ın Bayes İstatistiklerine Giriş bölümünden bir alıntı yer almaktadır .

Orada tüm uzmanlar için, bu önemsiz olabilir, ancak yazarın bazı değerlerini posterior olasılığını hesaplamak için herhangi bir entegrasyon yapmamız gerekmediği sonucunu anlamıyorum . Orantılılık ve tüm terimlerin nereden geldiği ikinci ifadeyi anlıyorum ( muhtemelen x Öncelik) . Dahası, sadece pay doğrudan orantılı olduğundan payda için endişelenmemiz gerekmiyor. Ama üçüncü denkleme geçmek , Bayes Kuralının paydasını unutmuyor muyuz? O nereye gitti ? Ve Gamma işlevleri tarafından hesaplanan değer, bu sabit değil mi? Sabitler Bayes teoreminde iptal edilmiyor mu? $\pi$

— Jenna Maiz
kaynak

5

Sadece bir olası sabit vardır, yani işlevi olasılık yoğunluğu yapan sabit.

— Xi'an

10

Mesele şu ki, posteriorun neyle orantılı olduğunu biliyoruz ve bu nedenle (sabit) paydayı elde etmek için entegrasyonu yapmamız gerekmiyor, çünkü olasılık yoğunluğu fonksiyonu ile orantılı bir dağılımın farkındayız (posterior gibi) bir beta dağılımıdır. Böyle bir beta pdf için normalleştirme sabiti , arka pdf'yi entegrasyon olmadan alırız. Ve evet, Bayes teoremindeki normalleştirme sabiti, aynı arka posteriorite için normalleştirme sabiti gibi bir sabittir (gözlenen veriler ve daha önce varsayılan). $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Björn
kaynak

8

Kurulum

Bu modeliniz var: Yoğunluğu ve özellikle

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Örtük sürüm

Şimdi. Arka dağılım, önceki ile olasılığı ile çarpılır . Sabitleri (yani olmayan şeyler) yok sayabiliriz, şunu veririz : $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Bu, ve parametreleriyle bir beta dağılımının 'şekline' sahiptir ve bu parametrelerle bir beta dağılımı için karşılık gelen normalleştirme sabitinin ne olması gerektiğini biliyoruz: . Veya gama fonksiyonları açısından, Başka bir deyişle, fazladan herhangi bir ek işlem olmadan oransal bir ilişkiden biraz daha iyi yapabilir ve doğrudan eşitliğe gidebiliriz: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Böylece, bir dağınık entegrasyon ve benzerinden geçmek yerine, posterior için bir ifadeyi kolayca kurtarmak için bir beta dağılımının yapısı hakkındaki bilgiler kullanılabilir.

Eklem dağılımının normalleştirici sabitlerini örtük bir şekilde iptal ederek, kafa karıştırıcı olabilir ve bu da arkaya yaklaşır.

Açık sürüm

Ayrıca, prosedürleri daha net bir şekilde öğütebilirsiniz.

Aslında o kadar da uzun değil. Ortak dağılımı olarak ifade edebileceğimizi unutmayın ve marjinal dağıtım olarak

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Böylece Bayes teoremini kullanarak .

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
kaynak

7

Genel açıklamalar

Björn biraz daha açık ve aynı zamanda daha genel @ verdiği cevabı yapmak için, biz geldi hatırlamalıyız Bayes Teoremi dan

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom) anlamına gelir

burada , gözlemlenen verileri temsil eder ve bilinmeyen parametremiz ile ilgili olasılıksal çıkarımlar yapmak isteriz - sorunun durumunda parametre bilinmeyen bir frekanstır . Şimdilik endişelenmeyelim, basit tutmak için vektörler veya skalerler hakkında konuşalım. $X$ $\theta$ $\pi$

Sürekli vakada marjinalleşme

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

ortak dağıtım burada eşit yukarıda gördük. Bir sabittir, çünkü parametreyi 'entegre ettikten' sonra sadece sabit terimlere bağlıdır . $p(X,\theta)$ $likelihood \times prior$

Bu nedenle edebilir Bayes Teoremi yeniden formüle olarak

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ ile $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

ve böylece her zamanki varmak orantılılık formunun ait Bayes Teoremi .

Problemin bir ele uygulanması

Şimdi biz sadece hazır bildiklerimizi takın beri Sorunun durumda formun olduğu $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

burada , ve burada binom olasılığından ve betadan sabit terimleri toplar önce. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Artık @ Björn tarafından verilen yanıtı kullanarak bunun işlevinin Beta işleviyle ifadesinin sabit terimlerin toplanmasına katlandığını ve böylece $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Ortak dağıtımdaki herhangi bir sabit terimin her zaman iptal edileceğini unutmayın, çünkü aday ve paydada aynı anda görünecektir (bkz. @Jtobin tarafından verilen cevap) bu yüzden gerçekten rahatsız etmemiz gerekmez.

Bu nedenle, posterior dağılımımızın aslında posterior'a ulaşmak için önceki ve parametrelerini güncelleyebileceğimiz bir beta dağılımı olduğunu biliyoruz . Bu nedenle önceden dağıtılan beta'ya önceden konjugat denir . $a' = a+y$ $b' = b+n-y$

— gwr
kaynak

Bu akıl yürütme jtobinin örtük versiyonuna benzer. Olasılık zamanlarını yalnızca parametreyi içeren bölümlere bakarız ve diğer her şeyi normalleştirme sabitinde toplarız . Bu nedenle entegrasyona yalnızca meşru olan son bir adım olarak bakarız, çünkü sabitler jtobinin açık versiyonunda gösterdiği gibi iptal olur.

— gwr