Sınıflandırma için RBM nasıl kullanılır?

Şu anda Kısıtlı Boltzmann Makineleri ile oynuyorum ve o zamandan beri el yazısı rakamları onunla sınıflandırmayı denemek istiyorum.

Oluşturduğum model şimdi oldukça süslü bir üretken model ama onunla nasıl daha ileri gideceğimi bilmiyorum.

Gelen bu makalede yazar diyelim, bu iyi bir üretken bir model oluşturduktan sonra, bir " sonra bir ayrımcılık sınıflandırıcı trenler (yani doğrusal sınıflandırıcı, Destek Vektör Makinesi) RBM üst etiketli örnekleri kullanma hakkında " "ve furtherly durumlarını sen ürediklerinden gizli birim vektörleri almak için RBM modelinin gizli birimlerine veri vektörleri veya verilerin daha üst düzey bir temsili ". Sorun şu ki, doğru anladığımdan emin değilim.

Bu, tek yapmam gereken girdinin gizli birimlere yayılması anlamına mı geliyor ve orada sınıflandırma için RBM özelliğim var mı?

Birisi bu süreci bana açıklayabilir mi?

Sınırlı Boltzmann Makinelerinin Gözden Geçirilmesi

Kısıtlı Boltzmann makinesi (RBM), girdi üzerinde bir olasılık dağılımını öğrenen üretken bir modeldir. Bu, eğitildikten sonra, RBM'nin öğrenilen olasılık dağılımından yeni örnekler üretebileceği anlamına gelir. Görünür birimleri üzerinden olasılık dağılımı verilir p ( v | h ) = V Π i = 0 s ( v ı | h ) , p ( v ı | h ) = σ ( bir i + $\mathbf{v}$

$$p(\mathbf{v} \mid \mathbf{h}) = \prod_{i=0}^V p(v_i \mid \mathbf{h}),$$ veσolan sigmoid fonksiyonu,birigörünür düğüm için önyargıivewjıden ağırlığıh, jiçinvı. Bu iki denklemden,p(v∣h) 'ninsadece gizli durumlarahbağlı olduğu anlaşılmaktadır. Bu, görünür birvnumunesinin nasılüretildiğihakkındaki bilginingizli birimlerde, ağırlıklarda ve sapmalarda saklanması gerektiğianlamına gelir. $$p(v_i \mid \mathbf{h}) = \sigma\left( a_i + \sum_{j=0}^H w_{ji} h_j \right)$$ $\sigma$$a_i$$i$$w_{ji}$$h_j$$v_i$$p(\mathbf{v} \mid \mathbf{h})$$\mathbf{h}$$\mathbf{v}$

Sınıflandırma için RBM kullanma

$\mathbf{h}$

Bu gizli vektör, giriş verilerinin dönüştürülmüş bir sürümüdür - bu, hiçbir şeyi kendi başına sınıflandıramaz. Bir sınıflandırma yapmak için, girdi olarak "ham" eğitim verileri yerine herhangi bir sınıflandırıcıyı (doğrusal sınıflandırıcı, SVM, ileri beslemeli sinir ağı veya başka bir şey) gizli vektör ile eğitirsiniz.

Derin beslemeli sinir ağlarını denetimsiz bir şekilde önceden eğitmek için kullanılan derin bir inanç ağı (DBN) oluşturuyorsanız, bu gizli vektörü alıp yığtığınız yeni bir RBM'nin girişi olarak kullanırsınız üstünde. Bu şekilde, etiketlenmiş verilere ihtiyaç duymadan, istediğiniz boyuta ulaşana kadar ağı katman katman eğitebilirsiniz. Son olarak, örneğin üstüne bir softmax katmanı ekler ve tüm ağı sınıflandırma görevinizde backpagagation ile eğitirsiniz.

@hbaderts tüm iş akışını mükemmel bir şekilde açıkladı. Ancak, bu fikirde tamamen yeni olmanız hiç mantıklı olmayabilir. Bu nedenle, bunu layman'ın yolundan açıklayacağım (bu nedenle, ayrıntıları atlayacağım):

Derin ağları verilerinizi dönüştürmenin bir işlevi olarak düşünün. Dönüşümlere örnek olarak normalleştirme, veri kaydı vb. Verilebilir. Eğittiğiniz derin ağların birden fazla katmanı vardır. Bu katmanların her biri bir tür öğrenme algoritması kullanılarak eğitilir. İlk katman için, orijinal verileri girdi olarak iletir ve çıktı olarak bu "aynı orijinal verileri" geri verecek bir işlev elde etmeye çalışırsınız. Ancak, mükemmel çıktı elde edemezsiniz. Bu nedenle, ilk katmanın çıktısı olarak girdinizin dönüştürülmüş bir sürümünü elde edersiniz.

Şimdi, ikinci katman için, bu "dönüştürülmüş verileri" alıp bunları girdi olarak iletir ve tüm öğrenme sürecini tekrarlarsınız. Bunu derin ağınızdaki tüm katmanlar için yapmaya devam edersiniz.

Son katmanda, elde ettiğiniz şey orijinal giriş verilerinizin "dönüştürülmüş bir versiyonudur". Bu, orijinal giriş verilerinizin daha yüksek düzeyde soyutlanması olarak düşünülebilir. Derin ağınızdaki etiketleri / çıktıları henüz kullanmadığınızı unutmayın. Bu nedenle, bu noktaya kadar her şey denetimsiz öğrenmedir. Buna katman bazında ön eğitim denir.

Şimdi, bir sınıflandırıcı / regresyon modeli eğitmek istiyorsunuz ve bu denetimli bir öğrenme problemidir. Bu hedefe ulaşmanın yolu, orijinal girişinizin "son dönüştürülmüş sürümünü" derin ağınızdaki son katmandan alıp herhangi bir sınıflandırıcıya (ör. Knn sınıflandırıcı / softmax sınıflandırıcı / lojistik regresyon vb.) Girdi olarak kullanmaktır. Buna yığınlama denir.

Bu son adım sınıflandırıcısını / öğrenicisini eğitirken, tüm öğrenmenizi tüm ağda yayarsınız. Bu, etiketlerden / çıktılardan öğrenebilmenizi ve öğrenilen katman bazlı parametreleri buna göre değiştirebilmenizi sağlar.

Dolayısıyla, üretken modelinizi eğittikten sonra, üretken modelinizin çıktısını alın ve bunu bir sınıflandırıcıya / öğreniciye girdi olarak kullanın. Öğrenme devam ederken hatanın tüm ağ üzerinden akmasına izin verin, böylece önceki adımlarda öğrenilen katman bazlı parametreyi değiştirebilirsiniz.

Yığılmış RBM'leri resimlerinizde eğitebilir ve ardından son RBM'yi RBM yığınından ve etiketlerden çıktının bir araya getirilmesiyle eğitebilirsiniz. O zaman aslında sınıflandırma için RBM kullanabilirsiniz. Hinton ++ tarafından yazılan bu makale, bu yaklaşımı Derin İnanç Ağları için Hızlı Öğrenme Algoritması olarak açıklamaktadır , ayrıca bu demoya da göz atabilirsiniz