Pretraining nedir ve sinir ağı nasıl pretrain?

10

Ön eğitimin konvansiyonel eğitim ile ilgili bazı sorunlardan kaçınmak için kullanıldığını anlıyorum. Ben bir otoencoder ile backpropagation kullanırsanız, backpropagation yavaş olduğu için zaman sorunları ile karşılaşacağımı biliyorum ve ayrıca yerel optima sıkışmış olabilir ve bazı özellikleri öğrenmek değil.

Anlamadığım şey, bir ağı nasıl önişlediğimiz ve ön işlem yapmak için özel olarak ne yaptığımızdır. Örneğin, bize kısıtlı bir Boltzmann Makineleri yığını verilirse, bu ağı nasıl önceden hazırlayabiliriz?

— Michael Yousef
kaynak

2

Yalnızca birkaç etiketli ve birçok etiketsiz örnek içeren bir ortamda değilseniz, ön eğitim eski sayılır. Eğer durum böyle değilse,

doğrultucu aktarım fonksiyonunun kullanılması

f (x) = max (x, 0)

$f(x) = \max(x, 0)$ ve gelişmiş optimize ediciler (rmsprop, adadelta, adam) derin sinir ağları için eşit derecede iyi çalışır.

— bayerj

Evet, büyük miktarda etiketlenmemiş örnek olduğu ve çok az etiketlenmiş veya hiç etiketlenmemiş örnek olduğu varsayımıyla çalışıyorum.

— Michael Yousef

2

Yığındaki her bir RBM'yi ayrı ayrı eğiterek başlarsınız ve daha sonra daha fazla ayarlanabilecek yeni bir modelde birleştirilirsiniz.

3 RBM'niz olduğunu varsayalım, RBM1'i verilerinizle eğitiyorsunuz (örneğin bir grup resim). RBM2, RBM1'in çıkışı ile eğitilir. RBM3, RBM2'nin çıkışı ile eğitilir. Buradaki fikir, her RBM modelinin görüntüleri temsil ettikleri ve bunu yaparken öğrendikleri ağırlıkları sınıflandırma gibi diğer ayrımcı görevlerde yararlı olduklarıdır.

— mnagaraj
kaynak

0

Yığılmış bir RBM'nin önceden hazırlanması, tanımlanan enerjiyi açgözlülükle tabaka halinde en aza indirmek, yani olasılığı en üst düzeye çıkarmaktır. G. Hinton, Gibbs örneklemesinin tek bir tekrarı olarak görülebilen CD-k algoritmasını önerdi.

— Mou
kaynak

Bu nedenle, istiflenmiş RBM'yi önceden tanımlamak, tanımlanan enerjiyi en aza indirmemize ve daha iyi sonuçlar almamıza olanak tanır. Ve sonra Hinton'ın Kontrastsal Iraksaklık algoritması gerçekte nasıl davranacağımızdı. Ön eğitim, ekstra özellikleri öğrenmeyi tam olarak nasıl etkiler? Hız sorunu için CD algoritmasının backpagagation'dan çok daha hızlı olduğunu varsayıyorum.

— Michael Yousef