Bayes ağları ve Markov süreci arasındaki fark?

Bayesian Ağı ile Markov süreci arasındaki fark nedir?

İkisinin de ilkelerini anladığımı sanıyordum, fakat şimdi ikisini karşılaştırmam gerektiğinde kaybolduğumu hissediyorum. Neredeyse benim için aynı anlama geliyor. Elbette değiller.

Diğer kaynaklara bağlantılar da takdir edilmektedir.

Bir olasılık grafik modeli (PGM) kompakt rastgele değişkenin bir dizi üzerinde ortak olasılık dağılımları ve (in) bağımlılık ilişkileri modellemek için bir grafiktir formalizmdir. Alttaki grafik yönlendirildiğinde PGM, Bayesian ağı ve Markov ağı / Markov rastgele alanı olarak adlandırılır.temel grafik yönlendirilmediğinde. Genel olarak konuşursak, eskiyi net bir yönelime sahip değişkenler arasındaki muhtemel etkiyi modellemek için kullanırsınız, aksi takdirde ikincisini kullanırsınız; PGM'lerin her iki versiyonunda da, ilişkili grafiklerdeki kenarların olmaması, kodlu dağılımlardaki koşullu bağımsızlıkları temsil etse de, bunların kesin anlamları farklıdır. "Markov ağı" ndaki "Markov", tarafından kodlanan, diğerlerinden bağımsız olduğu, bazı "önemli" değişkenlerinin (teknik ismi bir Markov; battaniye ), yani .$x_A$$x_C$$x_B$$p(x_A|x_B, x_C) = p(x_A|x_B)$

Bir Markov süreci bir stokastik süreçtir ye uyan Markov özelliği . Burada vurgu, (skaler) rastgele değişkenler olan genellikle zamana göre endeksli olduğu düşünülen, belirli bir koşullu bağımsızlığı sağlayan yani "gelecek geçmişten bağımsızdır" diye düşünülmüş. şimdiki zaman verilen, . Bu, PGM'ler tarafından tanımlanan 'Markov' kavramının özel bir halidir: basitçe kümesini alın ve alt kümesi olarak alın ve önceki ifadeyi çağır$\{X_{t}\}$x 1 , x 2 , X- 3 , . . . p ( x t + 1 | x t , X t - 1 , . . . , x 1 ) = p ( x t + 1 | x t ) bir = { t + 1 } , B = { t$X_1, X_2, X_3, ...$$p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$$A=\{t+1\}, B=\{t\}$$C$$\{t-1, t-2, ..., 1\}$$p(x_A|x_B, x_C) = p(x_A|x_B)$X, t + 1 X, t . Bundan herhangi bir değişkeninin Markov örtüsünün selefi .$X_{t+1}$$X_t$

Bu nedenle , bir Bayes şebekesiyle bir Markov sürecini temsil edebilirsiniz , zamana göre dizine alınmış bir doğrusal zincir olarak (basitlik için, burada sadece ayrık zaman / durum durumunu düşünürüz; Bishop'un PRML kitabındaki resim): Bu tür bir Bayesian ağı dinamik Bayesian ağı . Bir Bayesian ağı olduğu için (dolayısıyla bir PGM), olasılıkla çıkarım (Chapman-Kolmogorov Denklemlerinin özel bir durumu temsil ettiği toplam-ürün algoritması gibi) ve parametre kestirimi (örneğin, kaynama kabiliyetinin maksimum olması gibi) için standart PGM algoritmaları uygulanabilir. zincir üzerinde basit saymaya). Bunun örnek uygulamaları HMM ve n-gram dil modelidir.

Çoğu zaman bunun gibi bir Markov zincirinin bir tasvirini görürsünüz

Bu bir PGM değildir , çünkü düğümler rasgele değişkenler değil, zincirin durum alanının öğeleridir; kenarlar ardışık iki durum arasındaki (sıfır olmayan) geçiş olasılıklarına karşılık gelir. Bu grafiği, PGM zincirinin (koşullu olasılık tablosu) tanımladığı gibi düşünebilirsiniz . Bu Markov zinciri, her zaman damgasında dünyanın durumunu sadece rastgele bir değişken ( Mood ) olarak kodlar ; ne diğer etkileşim (gibi dünyanın yönlerini yakalamak istiyorsanız Sağlık ve Gelir bazı kişileri) ve tedavi rasgele değişkenlerin bir vektörü olarak$p(X_t|X_{t-1})$$X_t$$(X_t^{(1)},...X_t^{(D)})$? PGM'lerin (özellikle de dinamik Bayesian ağlarının) yardım edebileceği yer burasıdır. için karmaşık dağılımları basit bir zincir Bayesian ağının meraklısı bir sürümü olarak düşünülebilecek tipik bir 2TBN (2 dilimli dilimli Bayesian ağı) olarak adlandırılan koşullu bir Bayesian ağı kullanarak .$p(X_t^{(1)},...X_t^{(D)}|X_{t-1}^{(1)},...X_{t-1}^{(D)})$

TL; DR : Bir Bayesian ağı, bir değişkenler üzerinde faktörlenmiş olasılık dağılımını ve ilişkili koşullu bağımsızlığı temsil etmek için yönlendirilmiş (asiklik) bir grafik kullanan bir çeşit PGM'dir (olasılıksal grafik modeli). Markov süreci, "geleceğin şimdiki zamandan bağımsız olması" özelliği ile stokastik bir süreçtir (tipik olarak rastgele değişkenler topluluğu olarak düşünülür); vurgu, zaman içinde tek "şablon" rasgele değişken (genellikle ) evrimi üzerinde çalışmaktır . A (skalar) Markov işlemi, belirli koşullu bağımsızlık özelliğini$X_t$$t \to \infty$$p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$ve bu nedenle, bir zincir Bayesian ağı ile önemsiz bir şekilde temsil edilebilir; oysa dinamik Bayesian ağları, zaman içinde çoklu rastgele değişkenler (yani rastgele vektörler) arasındaki etkileşimleri modellemek için PGM'lerin tam temsil gücünden yararlanabilir; Bu konuda büyük bir referans Daphne Koller'in PGM kitabı bölüm 6'dır.

İlk önce Markov İşlemleri hakkında birkaç kelime. Durum uzayına (ayrık / sürekli) ve zaman değişkenine (ayrık / sürekli) bağlı olarak, bu canavarın dört farklı lezzeti vardır. Herhangi bir Markov Süreci'nin genel fikri, "şimdiki zaman, geleceğin geçmişten bağımsız olduğu" şeklindedir.

En basit Markov Süreci, ayrık ve sonlu uzay ve ayrık zaman Markov Zinciridir. Bunları, aralarında yönlendirilmiş kenarları olan bir düğüm kümesi olarak görselleştirebilirsiniz. Grafik çevrimleri ve hatta döngüler olabilir. Her kenarda 0 ile 1 arasında bir sayı yazabilirsiniz, öyle ki, her düğüm için bu düğümden çıkan kenarlardaki her sayı 1 içindir.

Şimdi, aşağıdaki bir işlemi hayal edin: belirli bir A durumunda başlarsınız. Her saniye, şu anda bulunduğunuz durumdan rastgele bir çıkış kenarı seçersiniz, o kenarı o kenardaki sayıya eşit seçme olasılığı ile. Bu şekilde, rastgele bir dizi durum üretiyorsunuz.

Böyle bir işlemin çok güzel bir görselleştirmesini burada bulabilirsiniz: http://setosa.io/blog/2014/07/26/markov-chains/

Alınan mesaj, ayrık bir uzamın ayrı bir zamanının grafiksel bir gösteriminin Markov İşleminin genel bir grafik olduğu, grafiğin düğümlerinin dizileri üzerindeki bir dağılımı (başlangıç ​​düğümü veya bir düğüm üzerinde bir başlangıç ​​dağılımı) temsil eden bir grafiktir.

Öte yandan, bir Bayesian Ağı bazı ortak olasılık dağılımının bir faktörleşmesini temsil eden bir DAG'dir ( Yönlendirilmiş Asiklik Grafik ). Genellikle bu gösterim, grafiği basitleştirmek ve ortak olasılık dağılımını tahmin etmek için gereken parametre sayısını azaltmak için bazı değişkenler arasındaki koşullu bağımsızlığı dikkate almaya çalışır.

Aynı soruya cevap ararken bu cevaplarla karşılaştım. Ancak hiçbiri konuyu netleştirmedi. İyi açıklamalar bulduğumda, benim gibi düşünen insanlarla paylaşmak istedim.

Judea Pearl tarafından yazılan "Akıllı sistemlerde olasılıksal akıl yürütme: Muhtemel Çıkarım Ağları" adlı kitapta bölüm 3: Markov ve Bayesian Ağları: Olasılık Bilgisinin İki Grafiksel Gösterimi, s.116:

Markov ağlarının ana zayıflığı, uyarılmış ve geçişsiz bağımlılıkları temsil etmemeleri; iki bağımsız değişken doğrudan bir kenara bağlanacaktır, çünkü diğer bazı değişkenler ikisine de bağlıdır. Sonuç olarak, birçok faydalı bağımsızlık ağda gösterilmemektedir. Bu eksikliğin üstesinden gelmek için, Bayesian ağları, yönelimli grafiklerin daha zengin dilini kullanır , burada okların yönleri, gerçek bağımlılıkları varsayımsal gözlemlerin neden olduğu sahte bağımlılıklardan ayırt etmemize izin verir.

Markov süreci, Markov mülküne sahip olan stokastik bir süreçtir (endeks zamanı geldiğinde, Markov mülkü, verilen, geçmiş ve geleceğin bağımsız olduğu söylenen özel bir koşullu bağımsızlıktır).

Bir Bayesian ağı yönlendirilmiş bir grafik modeldir. (Bir Markov rastgele alanı, yönlendirilmemiş bir grafik modeldir.) Bir grafik model, Markovian özelliğinden farklı olabilecek koşullu bağımsızlığı yakalar.

Grafiksel modellere aşina değilim, ama grafiksel bir modelin stokastik bir süreç olarak görülebileceğini düşünüyorum.

- Herhangi bir Markov Süreci'nin genel fikri, "şimdi verilen, geleceğin geçmişten bağımsız olduğu" dır.

- Herhangi bir Bayesian yönteminin genel fikri, "önceden verilen, gelecek geçmişten bağımsızdır", gözlemlerle endekslendiğinde parametrelerinin bir Markov sürecini izleyeceğidir.

ARTI

"inancımı nasıl güncellediğimde aşağıdakilerin hepsi aynı olacak

• bana yeni bilgiler veriyorsun, sonra bana yeni bilgiler veriyorsun,
• Bana yeni bilgiyi B sonra da yeni bilgiyi ver
• bana A ve B'yi birlikte veriyorsun "

Bu yüzden parametreleri gerçekten zamana göre indekslenen bir Markov süreci olacak, gözlemlerle değil