Ne zaman Markov rasgele alanları yapmak

Ders kitaplarında, Grafik Modeller, Üstel Aileler ve Varyasyonel Çıkarım , M. Jordan ve M. Wainwright , Üstel aileler ve Markov Rastgele Alanları (yönlendirilmemiş grafik modeller) arasındaki bağlantıyı tartışıyor .

Aşağıdaki sorularla aralarındaki ilişkiyi daha iyi anlamaya çalışıyorum:

Tüm MRF'ler Üstel ailelerin üyeleri mi?
Üstel ailelerin tüm üyeleri bir MRF olarak temsil edilebilir mi?
Eğer MRF'ler $\neq$ Üstel aileler ise, diğerine dahil olmayan bir tür dağılımın bazı iyi örnekleri nelerdir?

Ders kitabında anladığım kadarıyla (Bölüm 3), Jordan ve Wainwright bir sonraki tartışmayı sunar:

Bazı dağıtım izler aa skaler rasgele değişken X olduğunu varsayalım ve çizmek istatistiksel bağımsız gözlemler ve biz tanımlamak istediğiniz . $p$ $n$ $X^1, \ldots X^n$ $p$
Bazı fonksiyonların ampirik beklentilerini hesaplıyoruz $\phi_\alpha%$

tüm $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ $\alpha \in \mathcal{I}$

Her bir bir grubu içinde indeksleri bir işlev $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Öyleyse, aşağıdaki iki nicelik kümesini tutarlı olmaya, yani eşleşmeye ( tanımlamaya ) zorlarsak : $p$
- Beklenti yeterli istatistiği dağılımı $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Ampirik dağılımdaki beklentiler

biz almak gereğinden az sorunla pek dağılımları vardır anlamda, gözlemlerle uyumludur. Bu yüzden aralarından birini seçerek ( tanımlamak için) bir ilkeye ihtiyacımız var . $p$ $p$

Bu belirsizliği ortadan kaldırmak için maksimum entropi ilkesini kullanırsak, tek bir alabiliriz : $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ maruz tüm $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

bu , exp şeklini alır. $p^*$ $p_\theta(x) \propto$ burada ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ üstel aile şeklinde bir dağıtım parametrelendirmesini göstermektedir. $\theta \in R^d$

Başka bir deyişle, eğer biz

Dağılımların beklentilerini ampirik dağılımdaki beklentilerle tutarlı kılmak
Belirlenmeden kurtulmak için maksimum entropi ilkesini kullanın

Üstel ailenin dağıtımı ile son buluruz. $\rightarrow$

Bununla birlikte, bu daha çok üssel aileleri tanıtmak için bir argümana benziyor ve (anlayabildiğim kadarıyla) MRF'ler ve exp arasındaki ilişkiyi tarif etmiyor. aileler. Bir şey mi eksik?

mathematical-statistics graphical-model

— Amelio Vazquez-Reina
kaynak

Orada bazı karışıklıklar olduğunu düşünüyorum: [MRF'ler] ( en.wikipedia.org/wiki/Markov_random_field ) maksimum entropi prensibine göre tanımlanmamıştır, ancak kendi başlarına yoğunluk yoğunluğu kliklerine göre çarpanlara göre tanımlanmaktadır. grafiktir. MRF'ler log-lineer gösterimleri nedeniyle üssel ailelerdir.

— Xi'an,

Teşekkürler @ Xi'an. Bu bölüm " MRF'ler, grafiğin kliklerine göre yoğunluğun faktörü olması gerçeğiyle tanımlanır ", her zaman bir MRF'yi tanımladığını düşündüğüm şeydir. Peki bu özellik neden tüm MRF'leri üssel ailelerin bir parçası yapıyor? Ve diğer tipte üye olmayan tiplerden (MRF'ler veya exp aileler) hangisinin örnekleri (varsa) nelerdir?

— Amelio Vazquez-Reina,

Sizin için ne kadar ekleyeceğinden emin değilim, ancak bunu daha açık hale getirebilecek bir şey, bu makaledeki Gibbs dağıtımlarının ve MRF'lerin orijinal formülasyonunu Geman ve Geman tarafından okumaktır. Temel olarak, bütün fikir bir Boltzman dağılımına sahip bir şeyi modellemek (eksi bir şey ifade eder) ve daha sonra bir şeyin nasıl faktörize olduğunu sormaktır. Bunu açıklamanın bu yolu nedeniyle, üstel ailelere bağları daha açık olabilir.

— ely,

Üstel aileler, log yoğunluğunun esasen gözlemlerin vektörel fonksiyonunun ve parametrelerin vektörel fonksiyonunun skaler bir ürünü olması ile tanımlanmaktadır. Bu tanımda yer alan grafiksel bir yapı yoktur. MRF'ler ayrıca ek yerleri, semtleri ve tc'yi tanımlayan bir grafik içerir. Bu nedenle, MRF'ler grafik eklenmiş bir yapıya sahip üssel ailelerdir.

— Xi'an

Sanırım yorumlarla / cevaplarla çelişki içindeki karışıklık, parametreleriyle ilgili olarak mantıksız olan faktörleri ortaya koymanıza izin verip vermediğinize bağlı.

— Yaroslav Bulatov

Tamamen haklısın - verdiğin argüman üstel aileyi maksimum entropi ilkesiyle ilişkilendirdi, ama MRF'lerle hiçbir ilgisi yok.

İlk üç sorunuzu ele almak için:

Üstel ailelerin tüm üyeleri bir MRF olarak temsil edilebilir mi?

P (X = x) = \prod_{C \in c l (G)} ϕ_{C} (X_{C} = x_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . Bu tanımdan, tamamen bağlantılı olmayan bir grafiğin, tamamen bilgisiz olmasına rağmen, herhangi bir dağılımla tutarlı olduğunu görebilirsiniz.

Tüm MRF'ler Üstel ailelerin üyeleri mi?

$are$

$\neq$

Karışım dağılımları, üssel olmayan aile dağılımlarının yaygın örnekleridir. Doğrusal Gauss durum uzayı modelini göz önünde bulundurun (gizli bir Markov modelinde olduğu gibi, ancak sürekli gizli durumlarda ve Gauss geçiş ve emisyon dağılımlarında). Geçiş çekirdeğini bir Gauss karışımı ile değiştirirseniz, elde edilen dağılım artık üstel ailede değildir (ancak pratik grafik modellerin karakteristik özelliklerine sahip olan zengin koşullu bağımsızlık yapısını korur).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Drew
kaynak