Markov zincirinin indirgenemez olduğunu nasıl görüyorsunuz?

Markov zincirinin indirgenemez özelliğini anlamakta güçlük çekiyorum .

İndirgenemez olanın, stokastik sürecin "herhangi bir eyaletten herhangi bir duruma geçebileceği" anlamına geldiği söylenir.

Fakat devletten gidip gelemeyeceğini tanımlayan şey $i$ durumuna , ya da gidemez?$j$

---

Wikipedia sayfası kayıt altına almanın verir:

Devlet ise erişilebilir (yazılı ) durumundan , tamsayı varsa st $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

daha sonra iletişim halinde olan ve .$i\rightarrow j$$j \rightarrow i$

Bu indirgenemezlik bir şekilde izler.

Geçiş matrisleri için üç örnek, indirgenebilir durum için ilk ikisi, indirgenemez durum için son ikisi.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ İçin $P_1$, 3 veya 4 eyaletinde olduğunuzda, orada kalırsınız ve 1 ve 2 durumları için de aynı şekilde kalırsınız.

İçin $P_2$, eyalet 1'den 3'e kadar herhangi bir duruma gidebilirsiniz, ancak eyalet 4'te olduğunuzda orada kalacaksınız.

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ Bu örnek için, herhangi bir durumda başlayabilir ve yine de tek bir adımda olmasa da başka bir duruma erişebilirsiniz.

Eyalet $j$ bir eyaletten erişilebilir olduğu söyleniyor $i$ (genellikle $i \to j$) eğer varsa $n\geq 0$ öyle ki:

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ Yani, devletten $i$ devlete $j$ içinde $n$ olasılıklı adımlar $p^n_{ij}$.

İkisi de olursa $i\to j$ ve $j\to i$ eyaletlerden sonra doğru tut $i$ ve $j$ iletişim kurmak (genellikle $i\leftrightarrow j$). Bu nedenle, eğer her iki eyalet iletişim kurarsa Markov zinciri indirgenemez .

İzin Vermek $i$ ve $j$bir Markov Zincirinin iki ayrı hali olabilir. Sürecin devletten çıkması için olumlu bir olasılık varsa$i$ belirtmek $j$, adım sayısı ne olursa olsun (diyelim 1, 2, 3$\cdots$), o zaman biz diyoruz ki $j$ eyaletten erişilebilir $i$.

İşaretle, bunu şu şekilde ifade ederiz: $i\rightarrow j$. Olasılık açısından şu şekilde ifade edilir:$j$ eyaletten erişilebilir $i$, bir tamsayı varsa $m>0$ öyle ki $p_{ij}^{(m)}>0$.

Benzer şekilde, $j\rightarrow i$, bir tamsayı varsa $n>0$ öyle ki $p_{ji}^{(n)}>0$.

Şimdi, her ikisi de $i\rightarrow j$ ve $j\rightarrow i$ doğru, o zaman devletlerin $i$ ve $j$ birbirleriyle iletişim kurar ve gösterimsel olarak ifade edilir $i \leftrightarrow j$. Olasılık açısından, bu, iki tamsayı olduğu anlamına gelir$m>0,\;\; n>0$ öyle ki $p_{ij}^{(m)}>0$ ve $p_{ji}^{(n)}>0$.

Markov Zincirindeki tüm devletler kapalı bir iletişim sınıfına aitse , zincire indirgenemez Markov zinciri denir . İndirgenemezlik, zincirin bir özelliğidir.

İndirgenemez bir Markov Zinciri'nde süreç, ihtiyaç duyduğu adım sayısı ne olursa olsun herhangi bir durumdan herhangi bir duruma geçebilir .

Mevcut cevapların bazıları benim için yanlış görünüyor.

Stokastik Süreçlerde belirtildiği gibiJ. Medhi tarafından (sayfa 79, baskı 4), bir Markov zinciri, durum alanı dışında herhangi bir uygun 'kapalı' alt küme içermiyorsa indirgenemez.

Dolayısıyla, geçiş olasılığı matrisinizde, bu durumlar dışında başka bir duruma 'ulaşamayacağınız (ya da erişemeyeceğiniz) bir durum alt kümesi varsa, Markov zinciri azaltılabilir. Aksi takdirde Markov zinciri indirgenemez.

Öncelikle bir uyarı kelimesi: ciddi bir nedeniniz olmadıkça asla bir matrise bakmayın: Aklıma gelen tek şey yanlışlıkla yazılan rakamları kontrol etmek veya bir ders kitabında okumaktır.

Eğer $P$ geçiş matrisiniz, hesaplama $\exp(P)$. Tüm girişler sıfırdan farklıysa, matris indirgenemez. Aksi takdirde indirgenebilir. Eğer$P$ çok büyük, hesaplama $P^n$ ile $n$olabildiğince büyük. Aynı test, biraz daha az doğru.

İndirgenemezlik: sınırlı sayıda adımda herhangi bir durumdan başka bir duruma geçebilirsiniz.

Christoph Hanck'ın örneğinde $P_3$, doğrudan eyalet 1'den eyalet 6'ya gidemezsiniz, ancak 1 -> 2 -> 6'ya gidebilirsiniz