Markov Süreci sadece önceki durumuna bağlı olarak

Sadece birinin anlamamı onaylamasını istiyorum veya bir şeyleri özlüyorum.

Markov sürecinin tanımı, bir sonraki adımın sadece mevcut duruma bağlı olduğunu ve geçmişteki durumların olmadığını söylüyor. Öyleyse, a, b, c, d durumlarına sahip olduğumuzu ve a-> b-> c-> d'den gideceğimizi varsayalım. Bu, d'ye geçişin yalnızca c olduğumuz gerçeğine bağlı olabileceği anlamına gelir.

Ancak, modeli daha karmaşık hale getirebileceğiniz ve bu sınırlamayı "aşmak" gibi bir şey yapabileceğiniz doğru mu? Başka bir deyişle, eğer durum alanınız şimdi aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, yani yeni durum alanınız olur mevcut durumla birleştirilen önceki durum, daha sonra yukarıdaki geçiş * a-> ab-> bc-> cd olur ve bu nedenle cd'ye geçiş (önceki modelde d'ye eşdeğer) şimdi bir duruma "bağımlıdır", farklı modellenirse, önceki bir durumdur (aşağıda alt durum olarak adlandırıyorum).

Bunu "önceki durumlara bağlı (alt devlet)) bağlı" (alt durum artık gerçek bir durum olmadığı için teknik olarak yeni modelde olmadığını biliyorum) genişleterek markov özelliğini koruyabildiğine inanıyorum benim yaptığım gibi devlet alanı? Dolayısıyla, aslında herhangi bir önceki alt-devlete bağlı olabilecek bir markov süreci yaratılabilir.

Teknik olarak, tanımladığınız her iki işlem de markov zincirleridir. Aradaki fark, birincisinin bir birinci dereceden markov zinciri, ikincisinin bir ikinci dereceden markov zinciri olmasıdır. Ve evet, durum tanımında uygun bir değişiklikle ikinci dereceden bir markov zincirini birinci dereceden markov zincirine dönüştürebilirsiniz. Bir örnekle açıklayayım.

Havayı stokastik bir süreç olarak modellemek istediğimizi ve herhangi bir günde havanın yağmurlu, güneşli ya da bulutlu olabileceğini varsayalım. Let herhangi bir gün olarak hava ve bize sembolleri ile mümkün durumlarını göstermek izin R (yağışlı), S (güneşli) ile ve C (bulutlu için).$W_t$$R$$S$$C$

Birinci Sıra Markov Zinciri

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

İkinci Sıra Markov Zinciri

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

İkinci sıradaki markov zinciri, durum uzayını aşağıdaki gibi yeniden tanımlayan birinci sıradaki markov zincirine dönüştürülebilir. Tanımlamak:

$Z_{t-1,t}$

$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Yukarıdakiler açıkça, yeniden tanımlanmış durum alanı üzerindeki birinci dereceden bir markov zinciridir. İkinci mertebeden markov zincirinden bir fark, yeniden tanımlanmış markov zincirinizin iki başlangıç ​​başlangıç ​​durumuyla belirtilmesi gerektiği, yani zincirin 1. gün ve 2. günde hava durumu hakkında bazı varsayımlarla başlatılması gerektiğidir.

Markov sürecinin tanımı, bir sonraki adımın sadece mevcut duruma bağlı olduğunu ve geçmişteki durumların olmadığını söylüyor.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Yüksek mertebeden çok değişkenli Markov zincirleri gibi son makalelere ve bu alanın sessizce ilerlediği için uygulamalarına bir göz atmak isteyebilirsiniz .