Gibbs örneklemesinde koşulların tamamı nereden geliyor?

Metropolis-Hastings ve Gibbs örneklemesi gibi MCMC algoritmaları, eklem posterior dağılımlarından örnekleme yollarıdır.

Metropolis-acele etmeyi oldukça kolay anladığımı ve uygulayabildiğimi düşünüyorum - sadece bir şekilde başlangıç ​​noktalarını seçiyorsunuz ve posterior yoğunluk ve teklif yoğunluğu tarafından yönlendirilen 'parametre boşluğunu' rastgele yürüyorsunuz. Gibbs örneklemesi, bir kerede yalnızca bir parametreyi güncellerken, diğerlerini sabit tutarken, alanı dikey bir şekilde etkili bir şekilde yürüdüğü için çok benzer ama daha verimli görünüyor.

Bunu yapmak için, * parametresinden analitik olarak her parametrenin tam koşuluna ihtiyacınız vardır. Peki bu şartlar nereden geliyor? Paydayı elde etmek için eklemix1üzerinde marjinalleştirmeniz gerekir. Bu, birçok parametre varsa analitik olarak yapmak için çok fazla iş gibi görünüyor ve ortak dağıtım çok 'hoş' değilse izlenebilir olmayabilir. Model boyunca konjugatı kullanırsanız, tüm koşulların kolay olabileceğini, ancak daha genel durumlar için daha iyi bir yol olması gerektiğini anlıyorum.

Çevrimiçi kullanımda gördüğüm Gibbs örneklemesinin tüm örnekleri oyuncak örneklerini (koşulluların kendilerinin normal olduğu çok değişkenli bir normalden örnekleme gibi) kullanır ve bu sorunu atlatmış gibi görünür.

* Yoksa analitik biçimde tam koşullara mı ihtiyacınız var? WinBUGS gibi programlar bunu nasıl yapıyor?

Evet, haklısınız, koşullu dağıtımın analitik olarak bulunması gerekiyor, ancak tam koşullu dağıtımın kolayca bulunabileceği ve ortak dağıtımdan çok daha basit bir formun olduğu birçok örnek olduğunu düşünüyorum.

$P(X_1,\dots,X_n)$$X_i$$X_i$$X_{i-1}$$X_{i+1}$$Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

Bence Metropolis-Hastings gibi algoritmaların ana avantajını kaçırdınız. Gibbs örneklemesi için, tüm koşullardan örneklemeniz gerekecektir. Haklısın, bunu yapmak nadiren kolaydır. Metropolis-Hastings algoritmalarının temel avantajı, bir seferde bir parametreyi hala örnekleyebilmenizdir, ancak orantılılığa kadar yalnızca tam koşulları bilmeniz gerekir. Çünkü paydalar kabul kriterleri fonksiyonunda iptal eder

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$ sahip olan. Analitik olarak herhangi bir integral yapmanıza gerek yoktur. Çoğu uygulamada, çok daha fazlası da büyük olasılıkla iptal edilir.

WinBugs / Jags gibi programlar genellikle Metropolis-Hastings veya yalnızca orantılılığa kadar koşul gerektiren dilim örnekleme adımlarını uygular. Bunlara DAG'dan kolayca ulaşılabilir. Konjugasyon göz önüne alındığında, bazen düz Gibbs adımları veya süslü blok durakları da alırlar.