Herkes konjugat öncelikleri mümkün olan en basit terimlerle açıklayabilir mi?

23

Bir süredir Bayesci istatistiklerde eşlenik öncelikler fikrini anlamaya çalışıyorum ama anlayamıyorum. Bu fikri belki de en basit terimlerle açıklayabilir, belki de "Gauss öncesi" yi örnek olarak kullanabilir miyiz?

bayesian conditional-probability conjugate-prior

— Jenna Maiz
kaynak

23

Bir parametrenin önceliği neredeyse her zaman belirli bir fonksiyonel forma sahip olacaktır (genellikle yoğunluk cinsinden yazılır). Diyelim ki kendimizi belirli bir dağıtım ailesiyle sınırlandırıyoruz, bu durumda önceden seçmemiz o ailenin parametrelerini seçmeye indirgeniyor.

Örneğin, normal bir modelini . Basit olması için, bilinen şekilde ele alalım . Modelin bu kısmı - veri modeli - olabilirlik fonksiyonunu belirler. $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ $\sigma^2$

Bayesci modelimizi tamamlamak için burada . $\mu$

Yukarıda belirtildiği gibi, yaygın olarak için önceliğimiz için bazı dağıtım ailesi belirtebiliriz ve daha sonra sadece bu dağıtımın parametrelerini seçmeliyiz (örneğin, genellikle önceki bilgiler oldukça belirsiz olabilir - kabaca olasılığın konsantre olmasını istediğimiz yerde olduğu gibi) - çok spesifik fonksiyonel formdan ziyade, parametreleri seçerek istediğimizi modellemek için yeterli özgürlüğe sahip olabiliriz - önceki bir ortalama ve varyansla eşleştiğini varsayalım). $\mu$

Eğer bunun için arka çıkıyor dan aynı sonra, önceden olduğu gibi ailenin önceki is "eşlenik" olduğu söylenir söyledi. $\mu$

(Konjuge olmasını sağlayan şey, olasılıkla bir araya gelme şeklidir)

Öyleyse bu durumda (örneğin ) için bir Gaussian alalım . Eğer bunu yaparsak, için posteriorun da Gausscu olduğunu görürüz . Sonuç olarak, Gauss öncesi, yukarıdaki modelimiz için önceki bir eşlenikti. $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

Gerçekten hepsi bu kadar - posterior öncekiyle aynı aileden geliyorsa, daha önce bir eşlenik.

Basit durumlarda, olasılığın incelenmesi ile bir konjugatı tanımlayabilirsiniz. Örneğin, bir binom olasılığını düşünün; sabitleri bırakarak, bu bir beta yoğunluğu benziyor ; çünkü yolu yetkilerinin ve birleştirmek, bu çarpın bir beta tarafından önceden de yetkilerinin ürün elde edecek ve biz olasılığı o hemen görebilirsiniz ... beta binom olasılığından önce için bir konjugat olacaktır . $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

Gauss davasında, log yoğunluklarını ve log olasılığını göz önünde bulundurarak bunun gerçekleşeceğini görmek en kolayıdır; log olabilirliği kuadratik olacaktır ve iki kuadratik toplamı kuadratiktir, bu nedenle kuadratik bir log-önceki + kuadratik log-olabilirliği kuadratik bir posterior verir (en yüksek derecedeki terim katsayılarının her biri elbette negatif olacaktır) . $\mu$

— Glen_b-Monica'yı eski durumuna döndür
kaynak

9

Modeliniz üstel bir aileye aitse , yani dağıtımın yoğunluğu biçimindeyse bir göre verilen hakim ölçü (Lebesgue, sayma, ve Tc.), burada O anlamına gelir skalar fazla ürün ve ölçülebilir fonksiyonlar, konjugata önceki değerler vardır biçimi yoğunlukları ile tanımlanır [

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$

t \cdot s

$t\cdot s$

R^{d}

$\mathbb{R}^d$

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$

θ

$\theta$

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$

isteğe bağlı olarak seçilmiş hakim ölçü üzerinde ile] ve ,

d ν

$\text{d}\nu$

Θ

$\Theta$

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

Hakim önlemin seçimi, öncelikler ailesi için belirleyicidir. Örneğin , Glen_b'nin cevabında olduğu gibi üzerinde Normal ortalama bir olasılıkla karşılaşırsa , baskın önlem olarak Lebesgue ölçüsü seçildiğinde Normal öncelikler eşlenik olur. Bunun yerine , hakim önlem olarak seçerseniz, konjugat öncelikleri yoğunluğu olan dağıtım ailesi içinde bulunur $\mu$ $\text{d}\mu$ $(1+\mu^2)^{-2}\text{d}\mu$

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ bu baskın ölçüye göre ve artık normal öncelikler değildir. Bu zorluk, büyük olasılıkla, olasılığın belirli bir parametrelendirmesini seçme ve bu parametrelendirme için Lebesgue ölçümünü seçmeyle aynıdır. Bir olasılık işlevi ile karşılaşıldığında, parametre alanında doğal (veya içsel veya referans) baskın bir ölçü yoktur.

Bu üstel aile ortamının dışında, eşlenik önceliklere izin veren sabit bir desteğe sahip önemsiz bir dağıtım ailesi yoktur. Bu Darmois-Pitman-Koopman lemmasının bir sonucudur .

— Xi'an
kaynak

11

"en basit terimlerle mi?" Belki de önlemler hakkında önceden bilgi sahibi olmayan bir açıklama OP için daha yararlı olacaktır.

3

ne yazık ki, konjugat öncelikleri bir ölçü arka planı olmadan anlamsız (Evrendeki en iyi saklanan sır olsa bile) korkarım.

— Xi'an

6

Benim düşünceme göre, "mümkün olan en basit terimler" yoruma açıktır ve ölçü teorisi gibi gelişmiş matematiği kullanan bir açıklama hala bir anlamda "basit", belki de bu tür makinelerden kaçınan bir açıklamadan "daha basit" olabilir. Her durumda, böyle bir açıklama, onu anlamak için gerekli altyapıya sahip biri için çok aydınlatıcı olabilir ve bir konuyu açıklamanın çeşitli yollarının bir listesine böyle bir cevabın dahil edilmesi zararsız olabilir. Sadece OP için değil, gelecekteki tüm okuyucular için de cevaplar yazıyoruz.

— littleO

1

@LBogaardt Bu yanıtın hem konu hem de daha uygun bir seviyede olacağını düşündüğünüz bir veya daha fazla soruya bağlantı kurabilseniz eleştirileriniz daha fazla ağırlık taşıyacaktır. Lütfen "basit" terimin iyi tanımlanmış bir terim olmadığını ve farklı öznel yorumlara sahip olduğunu unutmayın. Ne olursa olsun, yorumlarınızın önerdiği gibi "matematiksel olarak sofistike olmayan" ile karıştırmak geçersiz olacaktır.

— whuber

2

Xi'an'ın yanıtı benim için işe yaramaz. Bir şey öğrendim.

— littleO

2

Bir dağıtımın "çekirdeği" kavramını kullanmayı seviyorum. Burası yalnızca parametreye bağlı parçalarda bıraktığınız yerdir. Birkaç basit örnek.

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$

K

$K$

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

Olabilirlik fonksiyonuna baktığımızda, aynı şeyi yapabilir ve bunu "çekirdek formunda" ifade edebiliriz. Örneğin iid verileriyle

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

$Q$ $f(\mu)$

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

$a=-\frac{n}{2}$ $b=\sum_{i=1}^n x_i$ $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

$\mu$

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$

Bir anlamda bir konjugat, daha önce gözlemlenen verilere "sahte veri" eklenmesine ve daha sonra parametrelerin tahmin edilmesine benzer şekilde davranır.

— probabilityislogic
kaynak

1

(+1) Sahte veri sezgisini takdir ediyorum!

— Xi'an

1

$D_{lik}$

$D_{pri}$

$D_{pri}$ $D_{lik}$

$\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
kaynak

Bu önceki bir eşleniğin ne olduğunu nasıl açıklar ?

— LBogaardt

tamam bunu düzenleyeceğim.

— Thomas G.