Markov Rasgele Alanı ile Koşullu Rasgele Alanı arasındaki fark nedir?

Bir MRF'nin gözlenen düğümlerinin değerlerini sabitlersem, CRF olur mu?

Tamam, cevabı kendim buldum:

Koşullu Rasgele Alanlar (CRF'ler) Markov Rasgele Alanların (MRF'ler) özel bir durumudur.

1.5.4 Koşullu Rastgele Alan

Koşullu Rastgele Alan (CRF), yukarıdaki gizli MRF'de olduğu gibi z verisi x verilen değişkenler için bir posterior tanımlayan bir MRF formudur. Ancak gizli MRF'den farklı olarak P (x | z) ve önceki P (x) veri dağılımına çarpanlara ayırma açık değildir [288]. Bu, x'e z'nin karmaşık bağımlılıklarının, çarpanlara ayırma açıklığa kavuşturulmadan, doğrudan posterior dağılımda yazılmasına izin verir. (P (x | z) göz önüne alındığında, bu tür faktörleştirmeler her zaman mevcuttur, ancak aslında bunların birçoğu - aslında - CRF'nin gizli MRF'den daha genel olduğu konusunda bir öneri yoktur, sadece başa çıkmanın daha uygun olabileceği .)

Kaynak: Blake, Kohli ve Rother: Görme ve görüntü işleme için rasgele Markov alanları. 2011.

Koşullu rastgele bir alan veya CRF (Lafferty ve ark. 2001), bazen de ayrımcı bir rastgele alan (Kumar ve Hebert 2003), yalnızca tüm klik potansiyellerinin girdi özellikleri üzerinde koşullandırıldığı bir MRF sürümüdür: [...]

Bir MRF'nin bir MRF'ye karşı avantajı, üretken bir sınıflandırıcıya (bkz. Bölüm 8.6) göre ayrımcı bir sınıflandırıcının avantajına benzer, yani her zaman gözlemlediğimiz şeyleri modellemek için “kaynakları boşa harcamamız” gerekmez. [...]

MRF'ler üzerinde CRF'lerin dezavantajı, etiketli eğitim verileri gerektirmeleri ve eğitmek için daha yavaş olmasıdır [...]

Kaynak: Kevin P. Murphy: Makine Öğrenmesi: Olasılıksal Bir Bakış

Soruma cevap veriyorum:

Bir MRF'nin gözlenen düğümlerinin değerlerini sabitlersem, CRF olur mu?

Evet. Değerleri sabitlemek, onları koşullandırmakla aynıdır. Ancak, eğitimde de farklılıklar olduğunu not etmelisiniz.

Birçok izlemek PGM hakkında dersler Coursera üzerinde (olasılıksal grafiksel modeller) bana çok yardımcı oldu.

MRF ve Bayes ağları : Eşsiz (ancak normalde) konuşmada , iki tür grafik model vardır: yönlendirilmemiş grafik modeller ve yönlendirilmiş grafik modeller (bir tür daha, örneğin Tanner grafiği). İlki Markov Rasgele Alanlar / Markov ağı ve daha sonra Bayes ağları / Bayes ağı olarak da bilinir. (Bazen her ikisinde de bağımsızlık varsayımları kordal grafikler ile temsil edilebilir)

Markov, çarpanlarına ayırma ve rastgele alan araçlarını , yönlendirilmemiş bir model tarafından tanımlananlar arasında belirli bir dağılım .

CRF $\in$ MRF : Bazı değişkenler gözlemlendiğinde , Y'nin bir hedef değişkenler kümesi olduğu ve X'in bir (ayrık olduğu ) bir koşullu dağılımı $P(Y|X)$ kodlamak için aynı yönlendirilmemiş grafik gösterimini (yönlendirilmemiş grafikler gibi) ve parametrelendirmeyi kullanabiliriz. ) gözlenen değişkenler kümesi.$Y$$X$

Ve tek fark, standart bir Markov ağı için normalleştirme teriminin X ve Y üzerinden toplamıdır, ancak CRF için terimin sadece Y üzerinden toplamıdır.

Referans:

1. Yönlendirilmemiş grafik modeller (Markov rastgele alanları)
2. Olasılıksal Grafik Model İlkeleri ve Teknikleri (2009, MIT Press)
3. Markov rastgele alanları

MRF'ler altında koşullu çıkarımları bir CRF kullanarak modelleme ile, yol boyunca tanımlara dayanarak ve sonra orijinal soruyu ele alalım.

HÖH

Bir grafik ile ilgili olarak bir Markov Rastgele Alan (MRF) $G$ olduğu

1. G'deki düğümlere karşılık gelen bir dizi rastgele değişken (veya isterseniz rastgele "elemanlar")$G$ (bu nedenle, bir "rastgele alan")
2. G'ye göre Markov olan bir ortak dağılımı ile ; yani, bu MRF ile ilişkili ortak olasılık dağılımı, G tarafından verilen Markov kısıtlamasına tabidir: herhangi bir iki değişken için, V i ve V j , V i değeri şartlı olarak V j'den bağımsızdır$G$$V_i$$V_j$$V_i$$V_j$ komşuları verilen $\mathcal{B}_i$ . Bu durumda, ortak olasılık dağılımının $P(\{V_i\})$ G'ye göre çarpanlarına ayırdığı söylenir .$G$

MRF Altında Koşullu Çıkarım

MRF, Markov kısıtlamalarına uyan birçok değişken üzerinde ortak bir dağılımı temsil ettiğinden, bazı değişkenlerin gözlenen değerleri göz önüne alındığında koşullu olasılık dağılımlarını hesaplayabiliriz.

Örneğin, dört rastgele değişken üzerinde ortak bir dağılımım varsa: IsRaining, SprinklerOn, SidewalkWet ve GrassWet, o zaman Pazartesi günü SidewalkWet = False ve GrassWet = False ve GrassWet = Doğru. Salı günü, SidewalkWet = True ve GrassWet = True gözlemlediğim göz önüne alındığında, IsRaining ve SprinklerOn üzerindeki ortak olasılık dağılımını çıkarmak isteyebilirim.

Başka bir deyişle, bu iki farklı durumda çıkarım yapmak için aynı MRF modelini kullanabiliriz, ancak modeli değiştirdiğimizi söyleyemeyiz. Aslında, burada açıklanan her iki durumda da SidewalkWet ve GrassWet'i gözlemlememize rağmen, MRF'nin kendisinde "gözlemlenen değişkenler" yoktur --- tüm değişkenler MRF'nin gözünde aynı statüye sahiptir, bu nedenle MRF de modeller, örneğin, SidewalkWet ve GrassWet'in ortak dağılımı.

CRF

Bunun aksine, $G$ grafiğine göre Koşullu [Markov] Rastgele Alan (CRF) tanımlayabiliriz .

1. $G$ düğümlere karşılık gelen rastgele değişkenler kümesi, bir alt küme $\{X_i\}_{i=1}^n$ her zaman gözlemlendiği ve kalan değişkenlerin { Y i } m i = 1 olduğu varsayılır.$\{Y_i\}_{i=1}^m$
2. bir ile koşullu dağılımı $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$olduğu, Markovgöre$G$

Fark

$G$

1. değişkenlerin bir alt kümesini "gözlenen" olarak belirtir

2. sadece gözlenmeyen gözlenen değişkenler üzerinde bir koşullu dağılım tanımlar ; gözlenen değişkenlerin olasılığını modellemez (dağılımlar parametreler olarak ifade edilirse, bu genellikle bir fayda olarak görülür, çünkü parametreler her zaman bilinecek şeylerin olasılığını açıklamak için boşa harcanmaz)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$ verildi$\{X_i\}$ s.

Misal

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Sonuç

$G$$G$$G$$G$$G$$G$

Model parametrelerinin potansiyel tasarruflarına, koşullu modelin artan ifadesine ve çıkarım verimliliğinin korunmasına ek olarak, CRF tarifiyle ilgili son önemli bir nokta, ayrı modeller için (ve ayrık olmayan modellerin büyük bir alt kümesi), CRF ailesinin ifade edilebilirliği, log-olasılık, fonksiyon parametrelerinin dışbükey bir fonksiyonu olarak, gradyan kökenli küresel optimizasyona izin verilebilir.

Ayrıca bakınız: orijinal crf kağıdı ve bu eğitim