Markov zincirleri nedir?

Şu anda Markov zincirinin topaklanmasıyla ilgili bazı makaleler okuyorum ve bir Markov zinciri ile düz yönlendirilmiş ağırlıklı bir grafik arasındaki farkı göremiyorum.

Örneğin , Markov zincirlerinde optimum durum-boşluk toplaması makalesinde bir CTMC (sürekli zaman Markov zinciri) tanımını sağlarlar:

Sonlu bir CTMC'yi düşünüyoruz $(\mathcal{S}, Q)$ devlet alanı ile $\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$ geçiş oranı matrisi ile $Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$.

Markov özelliğinden hiç bahsetmiyorlar ve aslında, kenarlardaki ağırlık bir olasılığı temsil ediyorsa, Markov özelliğinin önemsiz bir şekilde tuttuğuna inanıyorum çünkü olasılık sadece zincirin mevcut durumuna bağlıdır ve yolun yoluna bağlıdır. ona.

Toplanabilirliğin İlişkisel Özellikleri Üzerine başka bir makalede Markov zincirleri benzer şekilde tanımlanmıştır:

Bir Markov zinciri $M$ üçlü olarak temsil edilecek $(S, P, \pi)$ nerede $S$ sonlu haller kümesidir $M$, $P$ bir durumdan diğerine geçme olasılığını gösteren geçiş olasılığı matrisi ve $\pi$ sistemin belirli bir durumda başlama olasılığını temsil eden ilk olasılık dağılımıdır.

Yine, geçmiş ya da gelecek ya da bağımsızlıktan bahsedilmiyor.

Üçüncü bir kağıt var Basit O (m logn) Zaman Markov Zinciri Toplanması , sadece kenarlardaki ağırlıkların olasılık olmadığını asla belirtmedikleri, aynı zamanda şöyle der:

Birçok uygulamada, değerler $W(s, s')$negatif değildir. Ancak bu varsayımı yapmıyoruz, çünkü$W(s, s)$ kasten seçildi $-W(s, S \setminus \{s\})$genellikle negatif yapar.

Dahası, topaklamanın Markov özelliğini korurken ("eşdeğer" durumu daha büyük bir duruma toplayarak) devlet sayısını azaltmanın bir yolu olması gerektiği belirtilmektedir. Yine de, bana göre, sadece olasılıkları toplamak gibi görünüyor ve toplu devletlere / toplu devletlerden geçişlerin ortaya çıkan sorumluluklarının aralıkta olduğunu bile garanti etmemeli$[0,1]$. Topaklanma o zaman gerçekten neyi korur?

Gördüğüm iki olasılık var:

• Bir Markov zincirinin ne olduğunu anlamadım, ya da
• Bu gazetelerde Markov zinciri teriminin kullanımı sahte

Birisi durumu açıklığa kavuşturabilir mi?

Gerçekten bu terimi kullanan farklı topluluklar var gibi görünüyor ve çok farklı şeyler ifade ediyorlar. Sanırım bu 3 makaleden Markov özelliği ya önemsiz ya da işe yaramaz gibi görünüyor, farklı türde kağıtlara bakarken temel görünüyor.

Bir sürekli zaman Markov zincir sabit olmayan negatif kenar ağırlıkları ile yönlendirilmiş grafik olarak temsil edilebilir. Yönlendirilmiş bir grafiğin sabit kenar ağırlıklarının eşdeğer bir temsili$N$ düğümler $N \times N$matris. Markov özelliği (gelecek durumları sadece mevcut durumuna bağlı olduğu) 'dir örtülü sabit kenar ağırlıkları (ya da matris içinde sabit girişleri) içerisinde. Örtük ima edilen anlamına gelir . Matematikçiler onu örtmece bir anlam olarak kullanırlar, "bunu kendiniz kanıtlamanız gerekir".

Ancak ilk makale , bazen Markov Süreci olarak adlandırılan Sürekli Zamanlı Markov Zinciri ile tutarlı bir gösterimi tanımlar, ikinci kağıt ise Ayrık Zamanlı Markov Zinciri ile tutarlı bir gösterimi tanımlar . Onlar söylüyor

$P$bir geçiş olasılığı matrisi , bir durumdan bir başka duruma yakalanma olasılığını işaret etmektedir, ve$\pi$bir ilk olasılık dağılımı sistemi, belirli bir halde başlaması için olasılığını temsil eder. [vurgu eklendi]

Matrisin zaman içinde sabit olduğunu varsayarlar (böylece Markov özelliğini ima eder). Olasılık teriminde örtük olan, her sabitin menzil içinde olmasıdır$[0,1]$, her sütundaki girişlerin $P$ toplamı $1$ve girişlerin toplamının $\pi$ toplamı $1$.

Üçüncü makaleyi okuyamıyorum, ödeme duvarı. Matrisin her sütunundaki girişlerin 1'e toplanması gerekiyorsa, bunlar olasılıktır ve Ayrık zamanlı Markov Zincirleri hakkında konuşuyorlar. Her sütundaki girişler rastgele bir sayıya toplanabiliyorsa, girişler olasılıkları değil oranları temsil eder ve Sürekli Zamanlı Markov Zincirleri hakkında konuşuyorlar.

Sürekli zamanlı Markov Zincirleri, Ayrık zamanlı Markov Zincirleri ile aynı değildir . Bir olarak sürekli zaman Markov zinciri kenar ağırlıkları olasılıkları, daha ziyade temsil etmemektedir geçiş oranları . Kenar ağırlıkları negatif olmamalıdır, ancak keyfi olarak büyük olabilir ve dış kenarların ağırlıkları negatif olmayan herhangi bir sayıya toplanabilir. Toplamın olması gerekli değildir$1$.

Hem Sürekli hem Ayrık Zamanlı Markov Zincirleri ile Markov özelliği sabit kenar ağırlıkları (veya eşdeğer olarak geçiş matrisindeki sabit girişler) tarafından ima edilir.

Markov Zincirleri iki çeşittir: sürekli zaman ve ayrık zaman.

Hem sürekli zaman markov zincirleri (CTMC) hem de ayrık zaman markov zincirleri (DTMC), yönlendirilmiş ağırlıklı grafikler olarak temsil edilir.

DTMC'ler için geçişler her zaman bir birim "zaman" alır. Sonuç olarak, bir yay üzerindeki kilonuzun ne olması gerektiği konusunda bir seçenek yoktur - "i" de olduğunuz göz önüne alındığında "j" ye gitme olasılığını koyarsınız.

CTMC'ler için, herhangi iki durum arasındaki geçiş süresi zorunlu olarak üstel rastgele bir değişken tarafından verilir. CTMC'ler ve DTMC'ler arasındaki temel fark budur: DTMC'ler her zaman birim geçiş süresine sahiptir. CTMC'ler rastgele geçiş süresine sahiptir.

Bir CTMC için, kural genellikle, kaynaktan hedefe giden üstel rasgele değişkenin oranına göre bir yay üzerine ağırlıklar koymaktır. Yani sözleşme, olasılıklara değil, yaylara oranlar koymaktır .

Olumsuz Oranlar

Hatırladığım tüm CTMC'ler kenarlarda pozitif oranlarla temsil edilmesine rağmen, CTMC analizinde negatif oranlar ortaya çıkıyor.

Diyelim ki aşağıdaki gibi B, C ve D'ye bağlı A eyaletinde duruyoruz.

A -> B (oran olarak A dan bir B negatiftir) -> C (oran olarak A dan D C negatiftir) -> A (oran olarak A dan D pozitif)

Bu muhtemelen makalenizin bahsettiği şey değildir; Birisi uygun bir konvansiyonla çalışıyorsa negatif ağırlıkların mutlaka gülünç olmadığını göstermek için gündeme getirdim.

Markov Emlak

DTMC'ler için - haklısın. Markov özelliği önemsizdir. CTMC'ler için, geçişler üstel rasgele değişkenlerle ("hafızasız") verildiği için markov özelliği karşılanmaktadır. Geçişler üstel rasgele değişkenler tarafından verilmediyse (bunun yerine tekdüze olduklarını söyleyin), o zaman "Yarı Markov Zincirleri" veya "Yarı Markov Süreçleri" hakkında konuşurduk.