Derin inanç ağları veya Deep Boltzmann Makineleri?

Kafam karıştı. Derin inanç ağları ile Deep Boltzmann Makineleri arasında bir fark var mı? Eğer öyleyse, fark nedir?

— Jack Twain
kaynak

derin inanç ağları hakkındaki wikipedia makalesi , oldukça açıktır, ancak terimlerin etimolojisi / tarihçesi hakkında daha büyük bir resme sahip olmak yararlı / anlayışlı olacaktır. temelde derin bir inanç ağı, olasılıksal pov'daki derin bir sinir ağına oldukça benzerdir ve derin boltzmann makineleri derin bir inanç ağını uygulamak için kullanılan bir algoritmadır. görünüşe göre, tüm YSA'lar olasılıksal yorumlara / modellere sahiptir, ancak bazı bayes / olasılık odaklı yönelimli "inanç" modelleri kadar kolay / doğrudan elde edilemezler.

— vzn

Yanıtlar:

Her ne kadar Derin İnanç Ağları (DBN'ler) ve Deep Boltzmann Makineleri (DBM'ler) diyagramsal olarak çok benzer görünse de, aslında niteliksel olarak çok farklılar. Bunun nedeni, DBN'lerin yönlendirilmesi ve DBM'lerin yönlendirilmemesidir. Eğer onları daha geniş bir ML resmine sığdırmak istiyorsak, DBN'lerin yoğun bir şekilde gizli latent değişken katmanları olan sigmoid inanç ağları olduğunu ve DBM'lerin birçok yoğun latent değişken katmanı içeren markov rastgele alanları olduğunu söyleyebiliriz.

Bu nedenle, bu modellerin tüm özelliklerini miras alırlar. Örneğin, DBN hesaplamasında , burada , görünür katmandır ve , gizli değişkenlerdir. Öte yandan bilgi işlem günü şey çünkü inatçı bölüm işlevi normalde DBM'de hesaplama açısından olanaksız olduğunu. $P(v|h)$ $v$ $h$ $P$

Olduğu söyleniyor benzerlikler var. Örneğin:

DBN'ler ve orijinal DBM, kısıtlı Bolzmann makinelerinin (RBM) açgözlü katmana dayalı eğitimine dayanan başlatma şemalarını kullanarak çalışır.
Her ikisi de "derin".
Her ikisi de, üst ve alt katmanlara yoğun bir şekilde bağlanan ancak katman içi bağlantılara sahip olmayan gizli değişkenlerin katmanlarına sahiptir.

— alto
kaynak

DBN'ler nasıl sigmoid inanç ağları olabilir? !! Bir DBN'nin katmanları RBM'lerdir, bu nedenle her katman bir markov rasgele alanıdır!

— Jack Twain

Burada bir yazım hatası olduğunu düşünüyorum "Bunun nedeni DBM'lerin yönlendirilmesi ve DBM'lerin yönlendirilmemiş olmasıdır.". Bence DBN'lerin yönlendirilmemiş olduğunu kastediyorsun

— Jack Twain

@AlexTwain Evet, "DBN'ler yönlendirildi" bölümünü okumalıydı. Bir DBN'yi ilk olarak bir grup RBM öğrenerek intialize etseniz bile, sonunda genellikle ağırlıkları çözersiniz ve derin bir sigmoid inanç ağı (yönlendirilir) ile sonuçlanırsınız. Orijinal DBN çalışmalarının birçoğunda, insanlar üst tabakayı yönlendirilmemiş halde bıraktılar ve ardından uyanmış uyku gibi bir şeyle ayarlandılar; bu durumda bir meleziniz var.

— alto

3. katmanları "ör. (Ör. Gizli katmandaki düğümler arasında) * (ör. Gizli katmana giriş ) yerine (örneğin, gizli katmana girilen)"

— ddiez

@ddiez Evet, böyle okumalısınız. Düzeltme için teşekkürler.

— alto,

Her ikisi de RBM'lerin istiflenmiş katmanlarından oluşan olasılıksal grafiksel modellerdir. Aradaki fark, bu katmanların nasıl bağlandığı ile ilgilidir.

Bu bağlantı onu oldukça açık bir şekilde göstermektedir: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Şekil 2 ve Bölüm 3.1 özellikle önemlidir.

Özetle:

Bir DBN'de katmanlar arasındaki bağlantılar yönlendirilir. Bu nedenle, ilk iki katman bir RBM (yönlendirilmemiş bir grafik model) oluşturur, ardından takip eden katmanlar yönlendirilmiş bir üretken model oluşturur.

Bir DBM'de, tüm katmanlar arasındaki bağlantı yönlendirilmez, böylece her katman çifti bir RBM oluşturur.

— Darkensberge
kaynak

Yani derin bir Boltzmann makine hala RBMs inşa edilmiştir? Makaleme giriş ve imajla ilgili düşünceme

— Marin,