Kısıtlı Boltzmann Makineleri (RBM) için iyi bir öğretici

10

Kısıtlı Boltzmann Makinesi'ni (RBM) inceliyorum ve RBM'nin parametreleriyle ilgili günlük olabilirlik hesaplamalarını anlamada bazı sorunlar yaşıyorum. RBM hakkında birçok araştırma makalesi yayınlanmış olmasına rağmen, türevlerin ayrıntılı bir adımı yoktur. Çevrimiçi arama yaptıktan sonra bu belgede bulabildim:

Fischer, A. ve Igel, C. (2012). Sınırlı Boltzmann Makinelerine Giriş. L. Alvarez ve diğ. (Eds.): CIARP, LNCS 7441, s. 14–36, Springer-Verlag: Berlin-Heidelberg. ( pdf )

Ancak, bu belgenin ayrıntıları benim için çok ileri. Birisi beni RBM hakkında iyi bir öğretici / ders notlarına yönlendirebilir mi?

Düzenleme: @David, kafa karıştırıcı bölüm aşağıda gösterilmiştir (sayfa 26'daki denklem 29):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
kaynak

Hangi adımların sizi şaşırttığı konusunda daha açık olabilir misiniz?

— David J. Harris

1

iyi bir okuma yapay zeka için derin mimarileri öğrenmenin 5. bölümüdür ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf )

— dksahuji

@dksahuji INFO için teşekkürler, ayrıca prof: Bengio bir DL yazıyor ve inital

— 14'e

Bu derste RBM'nin matematiği ile ilgili açıklamalar bulunmaktadır ( Kısıtlı Boltzmann Makineleri Üzerine Bir Öğretici ).

— Jiang Xiang

7

Biraz geç olduğunu biliyorum, ama belki yardımcı olur. Denkleminizin ilk terimini elde etmek için şu adımları alır: Arasındaki koşullu bağımsızlığı varsaydık. görünür birimler göz önüne alındığında gizli birimler vardır. Böylece, gizli durumlar için koşullu ortak olasılık dağılımını çarpanlarına ayırabiliriz.

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ Geçen dönem eşittir hepimiz devletleri üzerinde toplayarak olduğundan,. Böylece geriye kalan ilk terimdir. Yana sadece devletler alır ve ile biz sonuna kadar:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
kaynak

7

Derin öğrenme sitesinde RBM'lerin iyi bir öğreticisi var .
Bu blog yazısı ( Kısıtlı Boltzmann Makinelerine Giriş ) daha basit bir dilde yazılmış ve RBMS'nin temellerini gerçekten iyi açıklıyor:
Ayrıca, belki de en iyi referans Geoff Hinton'un Coursea'daki Sinir Ağları kursudur:

Sınıf bittikten sonra derse ve videolara erişip erişemeyeceğinizden emin değilim.

— sjm.majewski
kaynak

2

Hala Coursera sınıfına kaydolan ve forumda yayın yapan insanlar var. Yine de tüm dersleri görebilir ve tüm sınavlara ve programlama ödevlerine (sınavlar arasında) erişebilirsiniz. Bu bilgiler, kurs tekrar önerilinceye kadar muhtemelen mevcut olacaktır. Sadece materyali görüntülemek veya indirmek için kursa kaydolmanızı öneririm.

— Douglas Zare

1

Soldaki turuncu kutu, görünür bir vektörün görünür birimler üzerine kenetlendiği göz önüne alındığında, tüm gizli konfigürasyonlarda enerji gradyanının beklenen değerini verir (egzersiz setinizden bir örnek kullandığından veriler üzerinde beklenti). Terimin kendisi, (1) bir v vektörünün görünür birimler üzerine kenetlenmesi ve (2) belirli bir görünür birimin j durumu göz önüne alındığında, belirli bir gizli birimin i görülme olasılığıdır.

Sağ turuncu kutu, soldaki kutu ile aynı şeydir, ancak yalnızca görünür birimler üzerine sıkıştırılmış olan yerine, görünür her yapılandırma için sol turuncu kutuda ne yaptığınızı yaparsınız (hiçbir şey kelepçelenmediğinden modele olan beklentisi görünür birimlerde).

— avalon
kaynak

1

Hugo Larochelle'in makine öğrenimi ( video ) kursunun 5. Bölümü , şimdiye kadar bulduğum en iyi tanıtım.

Kayıp fonksiyonunun türevi bu derslerde türetilmemiştir, ancak bunu yapmak zor değildir (gerekirse hesaplamalarımın bir taramasını gönderebilirim, ama gerçekten o kadar zor değil). Hala bu konuyu kapsayan iyi bir ders kitabı arıyorum ama esas olarak sadece makaleler var. Bengio'nun Derin Öğrenme Kitabının 20. bölümünde yer alan makalelere iyi bir genel bakış vardır .

— jakab922
kaynak