Grafik modeller ve Boltzmann makineleri matematiksel olarak ilişkili mi?

Ben aslında bir fizik dersinde Boltzmann makineleri ile bazı programlamalar yaparken, teorik karakterizasyonlarına aşina değilim. Buna karşılık, grafik modeller teorisi hakkında (Lauritzen'in Grafik Modeller kitabının ilk birkaç bölümü hakkında) mütevazı bir miktar biliyorum .

Soru: Grafik modeller ile Boltzmann makinesi arasında anlamlı bir ilişki var mı? Boltzmann makinesi bir tür grafik model mi?

Açıkçası Boltzmann makinesi bir tür sinir ağıdır. Bazı sinir ağlarının matematiksel olarak grafik modellerle ilişkili olduğunu, bazılarının da olmadığını duydum.

CrossValidated ile ilgili sorumu yanıtlamayan ilgili sorular:
Bu, daha önce sorulan bir önceki soruya benzer: Hiyerarşik modeller, sinir ağları, grafik modeller, bayes ağları arasındaki ilişki nedir? ancak daha spesifiktir.

Dahası, bu soruya kabul edilen cevap karışıklığımı netleştirmez - bir sinir ağının standart grafik temsilindeki düğümler rastgele değişkenleri temsil etmese bile, bu böyle bir temsilin olması gerektiği anlamına gelmez. Özellikle, Markov zincirlerinin tipik grafiksel gösterimi düğümler rastgele değişkenler yerine olası durumlar kümesini temsil hakkında düşünüyorum , ancak bir de arasındaki koşullu bağımlılık ilişkilerini gösteren bir grafik oluşturmak olabilir $X_i$ $X_i$ her Markov zincirinin aslında bir Markov rasgele alanı olduğunu gösterir. Cevap ayrıca sinir ağlarının (muhtemelen Boltzmann makineleri de dahil olmak üzere) "ayrımcı" olduğunu, ancak bu iddianın ne anlama geldiğini açıklamak için daha fazla ayrıntıya girmediğini, ne de açık bir takip sorusunun "grafik modeller ayrımcı olmadığını" söylüyor. ele alinan. Benzer şekilde, kabul edilen cevap Kevin Murphy'nin web sitesine bağlanır (Bayes ağlarını öğrenirken doktora tezinin bir kısmını okudum), ancak bu web sitesi sadece Bayes ağlarını tartışıyor ve sinir ağlarından hiç bahsetmiyor - bu yüzden farklıdır.

Bu diğer soru muhtemelen benimkine en çok benziyor: Sinir ağlarını grafik modeller olarak matematiksel olarak modelleme Ancak, cevapların hiçbiri kabul edilmedi ve aynı şekilde sadece referanslar verdi, ancak referansları açıklamadı (örn. Bu cevap ). Bir gün umarım referansları anlayabileceğim, ancak şu anda temel bir bilgi seviyesindeyim ve mümkün olduğunca basitleştirilmiş bir cevabı çok takdir ediyorum. Ayrıca, en üstteki cevapta ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) bağlantılı olan Toronto kursu buna değinir , ancak çok ayrıntılı değildir. Ayrıca, soruma cevap verebilecek bir dersin notları halka açık değildir.

25 Mart Ders 13b: İnanç Ağları 7:43. Bu slayt için Boltzmann Makineleri'ni unutmayın. Orada da gizli birimlerimiz ve görünür birimlerimiz var ve hepsi olasılıklı. BM'ler ve SBN'lerin farklılıkları olduğundan daha fazla ortak noktası vardır. 09:16. Günümüzde, "Grafik Modeller" bazen sinir ağlarının özel bir kategorisi olarak kabul edilmektedir, ancak burada tarif edilen tarihte çok farklı sistem türleri olarak kabul edilmiştir.

— Chill2Macht
kaynak

Yanıtlar:

Boltzmann makineleri vs. kısıtlı Boltzmann makineleri

Boltzmann makineleri AFAIK bir tür grafik modeldir ve sinir ağlarıyla ilgili model kısıtlı Boltzmann makineleri (RBM) 'dir.

Boltzmann makineleri ile kısıtlı Boltzmann makineleri arasındaki fark, Olasılıksal Bir Perspektif Makinesi Öğrenme kitabından

RBM'ler ve nöral nöronlar

p (v, h) = \frac{1}{Z} \exp (\sum a_{i} v_{i} + \sum b_{j} h_{j} + \sum v_{i} h_{j} w_{i j})

$p(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp(\sum a_iv_i+\sum b_jh_j + \sum v_ih_jw_{ij})$

p (h_{j} = 1 | v) = σ (b_{j} + \sum v_{i} w_{i j})

$p(h_j=1|\mathbf{v})=\sigma(b_j+\sum v_iw_{ij})$

p (v_{i} = 1 | h) = σ (a_{i} + \sum h_{j} w_{i j})

$p(v_i=1|\mathbf{h})=\sigma(a_i+\sum h_jw_{ij})$

v

$\mathbf{v}$

h

$\mathbf{h}$

σ ()

$\sigma()$

Koşullu olasılıklar aynı ağ katmanları biçiminde hesaplanır, böylece RBM'lerin eğitimli ağırlıkları doğrudan sinir ağlarının ağırlıkları veya eğitimin bir başlangıç noktası olarak kullanılabilir.

Bence RBM'nin kendisi bir sinir ağı türünden daha fazla grafiksel bir modeldir, çünkü yönlendirilmemiştir, iyi tanımlanmış koşullu bağımsızlıklara sahiptir ve kendi eğitim algoritmalarını kullanır (örneğin kontrastlı ıraksama).

— dontloo
kaynak

Güzel bu harika bir referans ile gerçekten harika bir cevap. Ayrıca Profesör Murphy'nin kitabını daha erken okumak için uğraşmamı sağlıyor. Bu tam cevabı vermek için harcadığınız zamanı takdir ediyorum.

— Chill2Macht

@William yardım etmekten mutluluk duyuyor :)

— dontloo

v =

$v=$

h =

$h=$

σ () =

$\sigma()=$

@ GeoMatt22 teşekkür ederim, cevabı güncelledim.

— dontloo

Bu, kabul edilen cevabı doğrular / doğrular, Boltzmann makinelerinin gerçekten de özel bir grafik modeli örneği. Özellikle, bu soru Koller, Friedman, Olasılıksal Grafiksel Modeller: Prensipler ve Teknikler , Kutu 4.C'deki 127-127.

Markov ağ modellerinin en eski türlerinden biri, etkileşen atomlar sistemini içeren fiziksel bir sistemin enerjisine model olarak ilk olarak istatistiksel fizikte ortaya çıkan Ising modelidir ... Ising modeliyle ilgili Boltzmann makine dağılımıdır .. Ortaya çıkan enerji, bir Ising modeli açısından yeniden formüle edilebilir (Alıştırma 4.12).

Ne ˙Ising modeli, istatistiksel mekanik literatürden başlangıçta bir kavram, bir grafik modeli Wainwright, Ürdün, pp. 41-43 ile, Örnek 3.1., Bölüm 3.3. Çok ayrıntılı bir biçimde verilmektedir olarak formüle edilebilir Grafik Modelleri, Üstel Aileler ve Varyasyonel Çıkarım .

Görünüşe göre Ising modeli, 1970'lerin sonunda ve 1980'lerin başında grafik modeller alanının kuruluşunda, en azından Steffen Lauritzen'in, Grafik Modeller kitabının hem önsözünde hem de girişinde söylediklerine dayanarak etkili oldu . Bu yorum, yukarıda adı geçen kitaptaki Koller ve Friedman'daki Bölüm 4.8 tarafından da desteklenmektedir.

Ising modelinden Boltzmann makinelerinin geliştirilmesi, Koller ve Friedman'ın aynı bölümüne dayanan bağımsız bir olay olabilir ve bu da "Boltzmann makinelerinin ilk önce Hinton ve Sejnowski (1983) tarafından önerildiğini" iddia ediyor. Markov'un rastgele alanlarını Ising modelinin genellemeleri olarak geliştirmedeki ilk çalışmadan sonra ortaya çıktı, ancak bu makalenin arkasındaki çalışma 1983'ten çok daha önce başlamış olabilir.

Bu ilişkiyle ilgili kafa karışıklığım, bu soruyu bir yıldan fazla bir süre önce yazdığımda, fizik literatüründe hem Ising modeliyle hem de nöronlar için Boltzmann makine modeliyle ilk karşılaştığımdan kaynaklandı. Koller ve Friedman'ın belirttiği gibi, istatistiksel fizik topluluğunda Ising modeli ve ilgili kavramlar hakkındaki literatür gerçekten çok geniştir.

Deneyimlerime göre, grafik modeller okuyan istatistikçiler ve bilgisayar bilimcileri, alanın istatistiksel mekanikle nasıl ilişkili olduğundan bahsedecek olsa da, istatistiksel fizik literatüründen şimdiye kadar bulduğum hiçbir referansın diğer alanlarla olan bağlantılardan bahsettiği anlamında da oldukça insülerdir. sömürmeye çalışır. (Bu yüzden diğer alanlarla bu tür bağlantıların olabileceği fikrinden şüphe etmem ve kafam karıştı.

Hem fizikçinin hem Ising modeli hem de Boltzmann makinesine bakış açısının bir örneği için, ilk öğrendiğim dersten ders kitabına bakın . Aynı zamanda, yukarıda belirtilen Ürdün ve Wainwright makalesinde de tartışılan bir şeyi doğru hatırlarsam, alan yöntemlerinden bahseder.

— Chill2Macht
kaynak

bağlantı çok ince olabilir ve çoğunlukla istatistiksel mekaniğin temelinde olan ve iç ürünlerin toplamının üstel olduğu bölme işlevinin kullanımına dayanır . Softmax işlevi de bu formu kullanır, böylece nomenaklatür terimlerin mirasını korur ve birçok fizikçi ML'de (örneğin Christopher Bishop) çalışır.

— Vass