Gibbs örneklemesi ile ilgili karışıklık

Gibbs örnekleminde her örneğin kabul edildiğini söyleyen bu makaleye rastladım . Biraz kafam karıştı. Kabul ettiği her numune sabit bir dağılıma yakınsa ne olur?

Genel olarak Metropolis Algoritması, min (1, p (x *) / p (x)) olarak kabul ediyoruz; burada x *, numune noktasıdır. X * 'nin bizi yoğunluğun yüksek olduğu bir konuma yönlendirdiğini varsayıyorum, bu yüzden hedef dağılıma geçiyoruz. Bu yüzden sanırım dönemdeki bir yanıktan sonra hedef dağılıma geçiyor.

Ancak, Gibbs örneklemesinde, bizi farklı bir yere götürecek olsa bile, her şeyi kabul ediyoruz, bunun sabit / hedef dağılımına yaklaştığını nasıl söyleyebiliriz?

Diyelim ki bir dağılımına sahibiz . Biz değil hesapla Z. ise metropol algoritması Kullandığımız süreli can dahil etmek dağıtım artı normalleştirme sabiti Z iptal eder. Yani sorun değil $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Fakat Gibbs örneklemesinde dağılımını nerede kullanıyoruz $c(\theta)$

Örneğin, http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf makalesinde verilen

örnekleme için kesin koşullu dağıtımımız yok, sadece koşullu dağılımla doğru orantılı bir şeyimiz var

resim açıklamasını buraya girin

mcmc gibbs metropolis-hastings

— user34790
kaynak

Metropolis-Hastings'de ne olur?

p (x *) / p (x)

$p(x*)/p(x)$ hep 1 miydi?

— Glen_b

Yanıtlar:

Metropolis-Hastings algoritmasını kullandığımızda bir kabul oranı hesaplamalıyız

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$ ve rasgele değişkeni bırakın, sonra ise rasgele değişkeni kabul ediyoruz .

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Ancak, Gibbs örneklemesinde her zaman rastgele değişken dışındayız çünkü kabul oranını hesaplamak zorunda değiliz (aslında bunu yaparsınız, ancak bir şeyler eklediğinizde her şeyin iptal edildiğini ve kabul oranınızın ve çok net olduğunu görürsünüz. her zaman küçüktür ve bu nedenle her zaman kabul edersiniz). Bununla birlikte, Gibbs örneklemesinde, doğrudan örnekleyebileceğimiz kapalı bir form ifadesi olan tam koşullardan örneklediğinizi sezgisel olarak da düşünebilirsiniz ve böylece Metropolis-Hastings algoritmasında olduğu gibi örnekleri reddetmeye gerek yoktur. den nasıl numune alınacağını (veya genellikle biçimini tanımıyor) bilmiyorum . Umarım yardımcı olur! $\alpha=1$ $U$ $\alpha$ $p(x)$

resim açıklamasını buraya girin

Ben nasıl geldim nasıl her şey iptal eder. Peki diyelim ki 3 değişkenlik dağılım örneklemeliyiz . Yani kapalı form ifadesinde tam şartlar demek istediğinizde p (x1 | x2, x3) p (x2 | x1, x3) ve p (x3 | x1, x2) demek istediniz. Benim sorum Gibbs örneklemesinde, örneklemek istediğimiz fiili dağıtım p'den elde edilen koşullu dağılımı biliyoruz. Demek istediğin bu mu. Metropolis algoritması durumunda p'yi bilmiyoruz ama c (c) gibi bir şey p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Varsayalım ki x1, x2 ve x3 değişkenleri için rastgele değerlerle başlıyoruz. Sabit dağılımının gerekli olanı nasıl yakınlaştırdığını nasıl söyleyebiliriz. Bunun için kriterler nelerdir?

— user34790

Bir dağıtım olduğunu varsayalım . Z bilmiyorum. Peki Gibbs örnekleme kullanarak örnek nasıl

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Bunun neden hep bir kanıtı olduğunu ekledim. Gibbs örneklemesini kullanmak için tüm koşulların ne olduğunu bilmeniz gerekir.

Kabul oranının bir yazım hatası olarak 1'e eşit olduğunun kanıtı, ortadaki ve üçüncü kısımdaki paydada q ifadesinin z_i üssü olmalıdır, böylece sonunda P (z_i üssü | z_i üssü) elde edersiniz.

Alex

— user60803
kaynak