Yarı konjugat ve koşullu konjugat önceliklerinin tanımları nelerdir?

Yarı konjugat önceliklerin ve koşullu konjugat önceliklerin tanımları nelerdir ? Onları Gelman'ın Bayesian Veri Analizinde buldum , ancak tanımlarını bulamadım.

bayesian

— Tim
kaynak

Yanıtlar:

Tanım kullanılarak Bayes Veri Analizi (3.baskı) , eğer dağılımlarını örnekleme sınıfıdır ve için önceki dağılımlarının bir sınıftır sonra, sınıf konjugat olup halinde $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Eğer dağılımlarını örnekleme sınıfıdır ve için önceki dağılımlarının bir sınıftır şartına , daha sonra sınıf , için koşullu eşlenik ise $\mathcal{F}$ $p(y|\theta,\phi)$ $\mathcal{P}$ $\theta$ $\phi$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

Şartlı konjugat öncelikleri, tam şartlı bilinen bir aile olacağından Gibbs örnekleyicisinin oluşturulmasında elverişlidir.

Bayesian Veri Analizi'nin (3. baskı) elektronik bir versiyonunu araştırdım ve daha önce yarı konjugate bir referans bulamadım. Şartlı konjugat ile eşanlamlı olduğunu tahmin ediyorum, ancak kitapta kullanımına bir referans sağlarsanız, bir tanım sağlayabilmeliyim.

— jaradniemi
kaynak

+1. Bayesian Veri Analizinin 3. baskısının URL'si nedir?

— Patrick Coulombe

Teşekkürler! Yarı eşlenik burada (2. baskı) books.google.com/… . Bu arada, 3. baskı için e-kitabı nasıl edindiniz?

— Tim

Neden daha önce yarı konjugat dediğinden emin değilim. Bu ifade 3. baskıda kaldırılmıştır. E-kitap buradan satın alınabilir: crcpress.com/product/isbn/9781439840955 .

— jaradniemi

@jaradniemi: Verdiğim bağlantıda, p84'ün üstünde, önceki yarı konjugatın bir önceki eşlenik olmadığı belirtiliyor.

— Tim

Olarak her biri neyi ifade eder ve her biri aynı şeyi ifade eder?

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

Örnek olarak çok değişkenli normal kullanmak istiyorum.

Olasılıkın

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Bu olasılıktan önce bir tane bulmak için,

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

hakkında endişelenmemenizi ; bunlar sadece önceki dağılımın parametreleridir. $\mu_0,\Lambda_0,\nu_0,S_0$

Bununla birlikte önemli olan, bunun olasılığa eşlenik olmamasıdır. Nedenini görmek için, çevrimiçi bulduğum bir referans alıntı yapmak istiyorum.

ve olasılıkla çarpanlarına ayrılmış olmayan bir şekilde birlikte göründüğünü unutmayın ; bu yüzden posteriorda birlikte bağlanacaklar $\mu$ $\Sigma$

Kaynak, Kevin P. Murphy'nin "Makine Öğrenmesi: Olasılıksal Bir Bakış Açısı" dır. İşte bağlantı . Alıntıyı, sayfa 135'in üst kısmındaki Bölüm 4.6'da (MVN parametrelerini çıkarma) bulabilirsiniz.

Alıntıya devam etmek için,

Yukarıdaki koşullara bazen yarı konjugat veya şartlı konjugat denir , çünkü her iki koşul da ve ayrı ayrı konjüge edilir. Önceden tam bir eşlenik oluşturmak için , ve birbirine bağlı olduğu bir öncekini kullanmamız gerekir . Formun ortak dağıtımını kullanacağız $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

Buradaki fikir, ilk önceki dağıtımın

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

ve ayrılabilir (veya bir anlamda bağımsız) olduğunu varsayar . Bununla birlikte, olasılık fonksiyonunda, ve ayrı ayrı çarpanlara ayrılamadığını gözlemliyoruz , bu da posteriorda ayrılamazlar (Hatırlama, ). Bu başlangıçta "ayrılamaz" posterior ve "ayrılabilir" konjugat olmadığını gösterir. Öte yandan, yeniden yazarak $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

öyle ki ve birbirine bağlıdır (yoluyla ), ek olarak adlandırılır önce bir konjugat elde edecek yarı eşlenik önce . Bu umarım sorunuzu cevaplar. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

Not : Kullandığım bir diğer gerçekten yararlı referans Peter D. Hoff tarafından "Bayesci İstatistiksel Yöntemlerde Bir İlk Kurs". İşte kitabın bağlantısı . İlgili içeriği sayfa 105'den başlayarak Bölüm 7'de bulabilirsiniz ve 67. sayfadan başlayarak Bölüm 7'de tek değişkenli normal dağılım hakkında çok iyi bir açıklamasına (ve sezgiye) sahiptir, bu bölüm ele alındığında Bölüm 7'de tekrar güçlendirilecektir. MVN.

— Asla olmaz
kaynak

Eğer dağılımları örnekleme sınıfıdır , ve için önceki dağılımlarının bir sınıftır , daha sonra sınıf olan semiconjugate için ise tüm ve , burada ve sınıfına ait değildir . $F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— nudtlxt
kaynak