Grafik modellerde grafik teorisi nerede?

29

Grafik modellere giriş, onları "... grafik teorisi ve olasılık teorisi arasındaki bir evlilik" olarak tanımlar.

Olasılık teorisi bölümünü elde ettim ama grafik teorisinin tam olarak nereye uyduğunu anlamakta güçlük çekiyorum. Grafik teorisinden elde ettiğimiz hangi bilgiler, olasılık dağılımları ve belirsizlik altında karar verme konusundaki anlayışımızı derinleştirmeye yardımcı oldu?

PGM'lerde grafik teorik terminolojinin açıkça kullanılmasının ötesinde somut örnekler arıyorum, örneğin bir PGM'yi "ağaç" veya "çift taraflı" veya "yönlendirilmemiş" olarak sınıflandırmak, vb.

graphical-model graph-theory distributions

— Vimal
kaynak

33

Olasılıklı grafik modellerde çok az gerçek matematiksel grafik teorisi vardır, burada gerçek matematiksel grafik teorisi ile klikeler, tepe sıraları, maksimum-akış min-kes teoremleri ve benzerleri hakkındaki ispatları kastediyorum. Euler Teoremi ve El Sıkışma Lemma'sı kadar temel bir şey kullanılmasa da, olasılıkla tahminleri güncellemek için kullanılan bilgisayar kodunun bazı özelliklerini kontrol etmeleri için onları çağırabilir. Dahası, olasılıklı grafik modeller nadiren çoklu grafikler gibi grafik sınıflarının bir alt kümesinden daha fazlasını kullanır. Grafiklerdeki akışlarla ilgili teoremler olasılıksal grafik modellerde kullanılmaz.

Eğer A öğrencisi olasılık uzmanıydı ama grafik teorisi hakkında hiçbir şey bilmiyorsa, ve B öğrencisi de grafik teorisi konusunda uzmandı ama olasılık hakkında hiçbir şey bilmiyorsa, A kesinlikle olasılıkla B modelinden daha hızlı olasılıkla muhtemel grafik modelleri öğrenir ve anlardı.

— David G. Stork
kaynak

8

Kesin bir anlamda, grafik teorisi PGM'lere gevşek bir şekilde bağlı görünüyor. Ancak, grafik algoritmaları kullanışlıdır. PGM'ler, grafiklerdeki genel ileti geçirme algoritmaları sınıfının bir alt kümesi olan ileti geçirme çıkarımıyla başladılar (bu, içlerindeki “grafiksel” kelimesinin nedeni olabilir). Grafik kesimli algoritmalar, bilgisayarlı görüşte Markov rasgele alan çıkarımı için yaygın olarak kullanılır; Ford-Fulkerson teoremine benzer sonuçlara dayanırlar (maksimum akış minimum kesime eşittir); en popüler algoritmalar muhtemelen Boykov-Kolmogorov ve IBFS'dir.

Referanslar. [Murphy, 2012 , §22.6.3] MAP çıkarımı için grafik kullanım kullanımını kapsar. Ayrıca bakınız [Kolmogorom ve Zabih, 2004 ; Boykov ve diğerleri, PAMI 2001] , modelleme yerine optimizasyonu kapsar.

— Roman Shapovalov
kaynak

MRF'lerde grafik kesimli algoritmaların kullanıldığını not etmek ilginçtir. Bir referansı gösterir misiniz? David Stork'un yukarıdaki cevabına dayanarak, bu algoritmalar, grafik teorisinin, grafik teorisi ile PGM'ler arasındaki bazı temel bağlantılardan ziyade, faydalı bir modelleme aracı olduğu gerçeğinden kaynaklanıyor gibi görünmektedir.

— Vimal

İstediğiniz gibi referansları ekledim. Son ifadenizden itibaren sebepleri nasıl ayrıştırabiliriz, yani temel olup olmadığını nasıl söyleyebiliriz?

— Roman Shapovalov

@overrider tam referanslar verebilir misiniz, böylece makaleler kolayca aranabilir ..? Googling, insanları referanslara yönlendirebilir, ancak alakasız sonuçlar için zaman harcayabilir. Bu yüzden başlıklar, yayıncılar, dergi adları, linkler vb. Eklenmesi iyi bir şeydir.

— Tim

2

Grafik kesme algoritmaları, bilgisayarlı görmede faydalıdır, ancak olasılıksal grafiksel modellerde kullanılmaz. Stereo vizyondaki bir problem, yazışma problemidir: A görüntüsündeki hangi noktaların, B görüntüsündeki noktalara karşılık geldiğini bulmak. Bir, köşelerin iki görüntüdeki özellik noktalarına karşılık geldiği bir grafik oluşturabilir ve bir grafik olası tüm yazışmaları temsil eder. Daha sonra "uygun" yazışmaları bulma sorunu grafiksel bir sorun olarak ortaya çıkabilir. Genel grafik modellerde böyle bir kullanım yoktur, ancak birinin bu bilgisayar görme sorununu grafik modellerle eşleştirmeyi deneyebileceğini düşünüyorum.

— David G. Stork,

2

@ DavidG.Stork Grafik kesimlerini benzer şekilde uygulayan başka bilgisayar görme sorunları var: resim bölümleme, kolaj yapma vb. Bu yüzden yaklaşım yeterince genel. Bu problemler, doğal olarak yönlendirilmemiş grafik modeller olarak ifade edilebilir (bildiri her zaman yapmasa da). Bu, farklı MRF çıkarım algoritmalarının yanı sıra model uydurma kullanılmasını sağlar. Öte yandan, grafik kesimleri oldukça geniş bir MRF alt kümesini optimize edebilir, bu nedenle vizyonun ötesinde, örneğin sosyal ağ analizi için uygulanabilir (şu anda belirli makaleleri hatırlayamasam da).

— Roman Shapovalov

4

Düşük Yoğunluklu Eşlik Kontrolü kodlarının kod çözülmesinin kolaylığı (olasılıklı bir grafik olarak gördüğünüzde ve Loopy İnanç Yayılımını uyguladığınızda mükemmel sonuçlar alır) ve parite kontrol matrisi tarafından oluşturulan grafiğin çevresi arasındaki bağlantıyı araştıran bazı çalışmalar yapılmıştır. . Bu çevre çevresi bağlantısı, LDPC'lerin icat edildiği zamana kadar geri gider [1], ancak Mackay ve ark.nın [4] tarafından ayrı ayrı yeniden keşfedilmesinden ve özellikleri fark edildikten sonra son on yılda [2] [3] daha fazla çalışma yapıldı. .

Sık sık incinin, belirtilen grafiğin çapına bağlı olarak inanç yayılımının yakınsama süresi hakkındaki yorumunu görüyorum. Ancak ağaç dışı grafiklerde grafik çaplarına bakarak hiçbir çalışmayı ve bunun ne gibi bir etkisi olduğunu bilmiyorum.

RG Gallager. Düşük Yoğunluklu Parite Kontrol Kodları. MIT Press, 1963
IE Bocharova, F. Hug, R. Johannesson, BD Kudryashov ve RV Satyukov. Yeni düşük yoğunluklu parite kontrol kodları, hipergrafya dayalı geniş çevresiyle birlikte. Bilgi Teorisi Bildirilerinde (ISIT), 2010, IEEE Uluslararası Sempozyumu, 819 - 823, 2010.
SC Tatikonda. Toplam ürün algoritmasının yakınsaklığı. Bilişim Teorisi Çalıştayı, 2003. Bildiriler. 2003 IEEE, sayfa 222 - 225, 2003
David JC MacKay ve RM Neal. Shannon yakınlarında düşük yoğunluklu parite kontrol kodlarının performansını sınırlandırın. Elektronik Mektuplar, 33 (6): 457-458, 1997.

— basmakalıp
kaynak

3

Grafik algoritmalarının olasılıksal grafik modellere başarılı bir şekilde uygulanması Chow-Liu algoritmasıdır . Optimum (ağaç) grafik yapısını bulma problemini çözer ve maksimum yayılan ağaçlar (MST) algoritmasına dayanır.

Ağaç grafik modeline ilişkin ortak olasılık şöyle yazılabilir: Normalize edilmiş bir günlük olabilirliği aşağıdaki gibi yazabiliriz: burada deneysel Maksimum Olabilirlik (ML) verilen ve arasındaki karşılıklı bilgidir düğümünün durumunda olduğu sayısı sayan dağıtım . İlk dönem topolojiden bağımsız olduğundan

p (x | T) = \prod_{t \in V} p (x_{t}) \prod_{(s, t) \in E} \frac{p (x_{s}, x_{t})}{p (x_{s}) p (x_{t})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} \log P (D | θ, T) = \sum_{t \in V} \sum_{k} p_{M L} (x_{t} = k) \log p_{M L} (x_{t} = k) + \sum_{(s, t) \in E} I (x_{s}; x_{t} | θ_{s t})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$ , onu görmezden gelebilir ve ikinci terimi maksimize etmeye odaklanabiliriz.

Günlük ağırlığı, kenar ağırlıkları karşılıklı bilgi terimleri olan olan maksimum ağırlık yayma ağacını hesaplayarak en üst düzeye . Maksimum ağırlık yayma ağacı, Prim algoritması ve Kruskal algoritması kullanılarak bulunabilir . $I(x_s;x_t|\theta_{st})$

— Vadim Smolyakov
kaynak

Selam Vadim. Cevabınız için teşekkürler. Grafik teorik terimlerinde bir formülasyon olarak, mantıklı. Ancak bir de bir optimizasyon sorunu olarak görebiliyordu. Sorunun ruhu, daha temel bir bağlantı kurmaktı. Örneğin, sıralama problemi bir düğümde topolojik bir sıralama olarak formüle edilebilir, burada düğümler sayıdır ve oklar <= ilişkiyi gösterir. Fakat bu sıralama ve grafik algoritmaları arasında temel bir bağlantı kurmaz, değil mi?

— Vimal