Ayrıntılı dengeyi sağlayan bir MCMC sabit bir dağıtım sağlıyor mu?

12

Sanırım ayrıntılı denge koşulunun denklemini anlıyorum, geçiş olasılığı ve sabit dağılım , eğer bir Markov Zinciri ise ayrıntılı dengeyi sağlıyor $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

Bu şekilde yeniden ifade edersem bana daha mantıklı:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Temel olarak, durum durum geçiş olasılığı, olasılık yoğunluklarının oranıyla orantılı olmalıdır. $x$ $y$

probability mcmc markov-process

— Mike Flynn
kaynak

10

Ayrıntılı dengeyi sağlayan MCMC'nin daima sabit dağılımı sağladığı doğru değildir. Ayrıca ergodik olma sürecine de ihtiyacınız var . Bakalım neden:

kümenin tüm olası durumlarının durumu olduğunu düşünün ve bunu indeksi ile tanımlayın . Bir Markov işleminde, bir dağıtım e göre geliştikçe $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

burada geçiş olasılıklarını gösteren matristir ( ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Yani, elimizde

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

Gerçek şu ki , bir geçiş olasılığı da özdeğerler [0,1] aralığı ait gerektiğini ifade eder olan. $\Omega_{j \rightarrow i}$

Sağlamak için, herhangi bir başlangıç dağıtım asimptotik birine yakınsak, bu sağlamak zorunda $p_{0}(j)$

1 değeri 1 olan sadece bir özdeğeri vardır ve benzersiz bir sıfır olmayan özvektörü vardır. $\Omega$

Emin olmak için asimptotik dağılım olduğunu, bunu sağlamak için gereken $\pi$

2 Özdeğer 1 ile ilişkili özvektör . $\pi$

Ergodisite 1., detaylı denge 2. anlamına gelir ve bu nedenle her ikisi de asimtotik yakınsama için gerekli ve yeterli bir koşul oluşturur.

Ayrıntılı bakiye neden 2:

Den başlayarak

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

ve her iki tarafta da üzerinden özetliyoruz. $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

çünkü , çünkü her zaman bir yere . $\sum_{j} \Omega_{ij} = 1$

Yukarıdaki denklem özdeğer 1'in tanımıdır (vektör formunda yazıp yazmadığınızı görmek daha kolaydır :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
kaynak

OP benzersiz olup olmadığını sormaz, detaylı dengeye sahip MCMC'nin değişmez bir olasılık yoğunluğu elde etmek için nasıl yeterli olduğunu sorar.

— gatsu

1

Bu cevabın ilk cümlesi "Ayrıntılı dengeyi sağlayan MCMC'nin daima sabit dağılımı sağladığı doğru değildir." Öyleyse hayır, ayrıntılı denge verim ve değişmez yoğunluk için yeterli değil ... Bu soruya nasıl cevap vermiyor?

— Jorge Leitao

0

Bence öyle, çünkü indirgenemez bir MC için ayrıntılı denge sağlanmışsa, o zaman benzersiz bir sabit dağılıma sahiptir, ancak başlangıç dağılımından bağımsız olması için de aperiodic olması gerekir.

MCMC durumunda bir veri noktasından başlayıp yeni bir nokta öneriyoruz. Önerilen noktaya hareket edebiliriz veya etmeyebiliriz, yani indirgenemez bir MC'yi aperiodik hale getiren bir kendi döngümüz vardır.

Şimdi DB'yi tatmin etme sayesinde, pozitif tekrarlayan durumlara da sahiptir, yani durumlara ortalama dönüş süresi sonludur. Dolayısıyla MCMC'de inşa ettiğimiz zincir indirgenemez, aperiodik ve pozitif tekrarlayıcıdır, bu da ergodik bir zincir olduğu anlamına gelir.

İndirgenemez bir ergodik zincir için, ilk dağılımdan benzersiz ve bağımsız olan sabit bir dağılımın var olduğunu biliyoruz.

— Siddharth Shakya
kaynak