Markov zincirleri ile Markov süreçleri arasındaki fark nedir?

16

Çakışan bilgileri okuyorum: Bazen tanım, durum uzayının ayrık mı yoksa sürekli mi olduğuna, bazen de zamanın sürekli ayrıklığına dayanmasına dayanır.

Bu dokümanın 20. slaytı :

Durum alanı ayrık, yani sonlu veya sayılabilir alan ayrıksa, yani sonlu veya sayılabilir ise bir Markov işlemine Markov zinciri denir.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Bir Markov işlemi, bir Markov zincirinin sürekli zamanlı versiyonudur.

Ya da zaman parametresinin sürekli mi yoksa ayrık mı olduğu ve durum alanının sürekli mi yoksa ayrık mı olduğunu belirleyen Markov zinciri ve Markov işlemini eşanlamlı olarak kullanabilir.

Güncelleme 2017-03-04: aynı soru https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably adresinde soruldu

terminology stochastic-processes markov-process

— Franck Dernoncourt
kaynak

1

Deneyimlerime göre, ilk tanım yanlıştır. Markov zincirleri, posterior dağılımdan (MCMC) örnekleme bağlamında sıklıkla kullanılır. Bu posterior bir sonlu veya sürekli durum uzayında tanımlanabilir; ilk tanım muhtemelen yanlıştır. İkincisi daha mantıklı. Bununla birlikte, Markov zincirleri sürekli zaman ifadesini sık sık gördüğüm için, arasında çok fazla fark olduğunu düşünmüyorum.

— Greenparker

1

ders kitabından öğrendiğimi hatırlıyorum markov süreci en genel terim ve markov zinciri zaman ayrık ve devlet ayrık özel durum.

— Haitao Du

8

Önsözden Meyn ve Tweedie'nin "Markov Zincirleri ve Stokastik Stabilite" nin ilk baskısına:

Burada Markov Zincirler ile ilgileniyoruz. Doob ve Chung [99,71] tarafından bu terimi hem ayrık hem de sürekli zaman parametrelerine sahip sayılabilir alanlarda gelişen sistemler için ayırma girişimlerine rağmen, kullanım Markov zincirlerinin hareket ettiği gibi azalmıştır (örneğin Revuz [326]). ne zaman olursa olsun ayrık zaman; ve burada anlattığımız sistemler.

Düzenleme: referansım tarafından belirtilen referanslar sırasıyla:

99: JL Doob. Stokastik Süreçler . John Wiley & Sons, New York 1953

71: KL Chung. Durağan Geçiş Olasılıklı Markov Zincirleri . Springer-Verlag, Berlin, ikinci baskı, 1967.

326: D. Revuz. Markov Zincirleri . Kuzey Hollanda, Amsterdam, ikinci baskı, 1984.

— Taylor
kaynak

6

Stokastik süreçlerin sınıflandırılmasının bir yöntemi time parameter( kesikli veya sürekli ) ve state space( kesikli veya sürekli ) doğasına dayanmaktadır . Bu dört stokastik süreç kategorisine yol açar.

Eğer state spacestokastik süreç olup ayrık olup, time parameterbir kesikli ya da sürekli bir işlem, genellikle, bir adlandırılan zincir .

Rastgele oluşur sahip ise Markov özelliği , bağımsız olarak (kesikli veya sürekli) zaman parametresi ve devlet alanı (kesikli veya sürekli) doğası , o zaman adı Markov süreci . Bu nedenle dört Markov süreci kategorimiz olacak.

Bir continuous time parameter, discrete state spaceMarkov özelliği sahip stokastik işlem olarak adlandırılır sürekli parametreli Markov zinciri (CTMC) .

Bir discrete time parameter, discrete state spaceMarkov özelliği sahip stokastik işlemi olarak adlandırılan ayrı bir parametre Markov zinciri (DTMC) .

Benzer şekilde, başka iki Markov sürecimiz olabilir.

2017-03-09 Güncellemesi:

Every independent increment process is a Markov process.

Poisson processbağımsız artış özelliğine Markov processsahip bir zaman parametresi sürekli ve durum alanı ayrıktır.

Brownian motion processbağımsız artış özelliğine Markov processsahip bir sürekli zaman parametresi ve sürekli durum uzayı işlemidir.

— LVRao
kaynak