İki emici Markov zinciri göz önüne alındığında, birinin diğerinden önce sona erme olasılığı nedir?

Her biri bir emici duruma ve bilinen bir başlangıç pozisyonuna sahip iki farklı Markov zincirim var. Zincir 1'in zincir 2'den daha az adımda emici bir duruma ulaşma olasılığını belirlemek istiyorum.

Sanırım n adımdan sonra belirli bir zincirde emici bir duruma ulaşma olasılığını hesaplayabilirim: bir geçiş matrisi verildiğinde , adımdan sonra absorbe olma olasılığı burada başlangıç durumudur ve , emici durum. $P$ $n$ $P^n_{ij}$ $i$ $j$

Yine de buradan nereye gideceğimi bilmiyorum. Gördüğüm benzer problemler zarları içeriyor (örneğin, 8 toplamından önce 7 toplamı), ancak bunu çözmek daha kolaydır, çünkü belirli bir miktarın yuvarlanma olasılığı sabittir ve şu ana kadar atılan adım sayısından bağımsızdır.

probability markov-chain transition-matrix

— Jeff
kaynak

Zincirleri paralel olarak çalıştırın. Ortaya çıkan ürün zincirinde üç emici durumu tanımlayın:

İlk zincir emici bir duruma ulaşır ancak ikincisi ulaşmaz.
İkinci zincir emici bir duruma ulaşır ancak birincisi ulaşmaz.
Her iki zincir aynı anda emici bir duruma ulaşır.

Bu üç eyaletin ürün zincirindeki sınırlayıcı olasılıkları ilgi şansı vermektedir.

Bu çözüm bazı (basit) yapılar içerir. olduğu gibi, bir zincir için geçiş matrisi olsun . Zincir durumundayken , durumuna geçiş olasılığını verir . Bir emici durumu bir olasılık ile, kendisi için bir geçiş yapar . $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

Herhangi bir durum edilebilir emici yapılan satır değiştirilmesi üzerine bir gösterge vektörü ile , bir ile konumunda . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Emici durumlardan herhangi bir kümesi , durumları olan yeni bir zinciri oluşturularak birleştirilebilir . Geçiş matrisi, $A$ $\mathcal{P}/A$ $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Sütun toplanmasıyla Bu miktarlar tekabül eden satır ve değiştirilmesi karşılık gelen , kendisi için bir geçiş yapan bir tek sıra ile. $\mathbb{P}$ $A$ $A$
Ürün iki zincirin durumları ile ilgili ve devletler , geçiş matrisleri ve sırasıyla bir Markov zinciridir bildiren geçiş matrisi ile $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Aslında, ürün zinciri iki zinciri paralel olarak çalıştırır, her birinin nerede olduğunu ayrı ayrı izler ve bağımsız olarak geçişler yapar.

Basit bir örnek bu yapıları netleştirebilir. Diyelim ki Polly bir bozuk parayı iniş kafaları ile çeviriyor . Bir kafaları gözlemleyene kadar bunu yapmayı planlıyor. para çevirme işleminin durumları olan en son sonuçlarını temsil eder: kuyruklar için , kafalar için . Başlarda durmayı planlayan Polly, emici bir hale getirerek ilk yapıyı uygulayacaktır . Ortaya çıkan geçiş matrisi $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

İlk atış tarafından verilen rastgele bir durumda . $(1-p,p)$

Polly ile birlikte, Quincy adil bir para atacak. Arka arkaya iki kafa gördükten sonra durmayı planlıyor. Markov zinciri bu nedenle önceki sonucu ve mevcut sonucu takip etmek zorundadır. Örneğin, ilk harfin önceki sonuç ve ikinci harfin geçerli sonuç olduğu " " olarak kısaltacağım iki kafa ve iki kuyruk gibi dört kombinasyon vardır . Quincy, emici bir hale getirmek için inşaatı (1) uygular . Bunu yaptıktan sonra, gerçekten dört duruma ihtiyaç duymadığını fark eder: zincirini üç duruma basitleştirebilir: mevcut sonucun kuyruklar olduğu anlamına gelir, mevcut sonucun kafa olduğu anlamına gelir ve $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ , son iki sonucun her iki kafa olduğu anlamına gelir - bu emici durumdur. Geçiş matrisi

S = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

Ürün zinciri altı durumda çalışır: . Geçiş matris olup tensör ürün arasında ve ve sadece kolayca hesaplanır. Örneğin, Polly bir geçiş yapar şans için de, ve aynı zamanda (ve, bağımsız bir şekilde), Quincy bir geçiş yapar için . İlki ve ikincisi şansına sahiptir . Zincirler bağımsız olarak çalıştığı için, bu şanslar çoğalır ve $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$ . Tam geçiş matrisi

P \otimes S = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

İkinci matris karşılık gelen bloklarla blok matris biçimindedir : $\mathbb Q$

P \otimes S = (\begin{matrix} P_{11} S & P_{12} S \\ P_{21} S & P_{22} S \end{matrix}) = (\begin{matrix} (1 - p) S & p S \\ 0 & S \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly ve Quincy önce hedeflerine kimin ulaşacağını görmek için yarışır. Bir geçiş birinci yapıldığında kazanan Polly'i olacaktır burada değildir ; e ilk geçiş yapıldığında kazanan Quincy olur ; ve bunlardan herhangi biri gerçekleşmeden önce a geçiş yapılırsa , sonuç bir beraberlik olur. Takip etmek için, ve hem emici hale getireceğiz (inşaat (1) aracılığıyla) ve sonra birleştireceğiz ( inşaat yoluyla (2)). durumları tarafından sıralanan sonuçtaki geçiş matrisi $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ dır-dir

R, = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

Polly ve Quincy'nin eşzamanlı ilk atışının sonuçları sırasıyla olasılıkları ile : bu, zincirin başlatılacağı başlangıç durumudur. $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

olarak sınırda , $n\to \infty$

μ \cdot {R,}^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

Böylece, üç emici durumun (Quincy kazançlarını, Polly kazançlarını, çizdiklerini) göreli şansları . $(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

şekil

bir fonksiyonu olarak (Polly'nin atışlarından herhangi birinin kafa olma olasılığı), kırmızı eğri Polly'nin kazanma şansını çizer, mavi eğri Quincy'nin kazanma şansını çizer ve altın eğri beraberlik şansını çizer. $p$

— whuber
kaynak

Çok düzgün bir örnek, bunun için teşekkürler. Onları kendim görmek için hala detaylar üzerinde çalışıyorum. Sadece bir soru: Burada iki etkinliğin (Polly ve Quincy atışları) aynı anda gerçekleştiğini varsaydık, bunları sıralı hale getirsek ya da her seferinde bir sonraki atışta rastgele seçersek ne kadar fark yaratacağını düşündük?

— user929304

@ user929304 Muhtemelen büyük ölçüde farklı cevaplar alacaksınız. Örneğin, P ve Q'nun, durumların A ve B alt kümelerine bölündüğü bir zinciri yürüttüğünü varsayalım, A'dan B'ye ve B'den gelen tüm geçişler A'ya gider. her ikisi de eşzamanlı olarak A ve B arasında değişir, ancak sıralı ve rasgele seçim zincirleri bu değişmez paterni kırar.

— whuber