Sınırlı Boltzmann Makinelerinin Modern Kullanım Durumları (RBM'ler)?

Arkaplan: Geçmiş ~ 4 yıldaki ( alexnet sonrası ) modern araştırmaların çoğu, en son sınıflandırma sonuçlarına ulaşmak için sinir ağları için üretken ön eğitim kullanmaktan uzaklaşmıştır.

Örneğin, burada mnist için en iyi sonuçlar , her ikisi de RBM olan üretken modeller kullanıyor gibi, ilk 50'nin sadece 2 makalesini içeriyor. Kazanan diğer 48 makale, RBM'de ve birçok eski sinir ağında kullanılan sigmoidden farklı olarak daha iyi / yeni ağırlık başlangıçları ve aktivasyon fonksiyonları bulmak için çok çaba harcanan farklı ayrımcı ileri beslemeli mimarilerle ilgilidir.

Soru: Artık Sınırlı Boltzmann Makinelerini kullanmak için modern bir neden var mı?

Değilse, bu ileri beslemeli mimarilere katmanlarından herhangi birini verimli hale getirmek için uygulanabilecek fiili bir değişiklik var mı?

Motivasyon: Soruyorum çünkü mevcut gördüğüm bazı modeller, genellikle RBM varyantları, mutlaka bu üretken katmanlara / modellere açık benzer ayrımcı karşılıkları yoktur ve bunun tersi de geçerlidir. Örneğin:

• mcRBM

• ssRBM

• CRBM (bir CNN iddia olabilir ileri mimarileri besleme kullanılan her ne kadar olduğunu ayırt edici analog mimari)

Ayrıca, bunlar 2010, 2011 ve 2009 yıllarında saygıyla açıkça alexnet öncesi idi.

Bu eski bir sorudur, ancak aslında teknik olarak mümkün olandan (yani, çok fazla araştırma odağı gerektirmez) değil, esasen 'en iyi uygulamalar' için sorular sorduğundan, mevcut en iyi uygulamalar şunun gibidir:

• RBM'ler şu anda normalde kullanılmamaktadır
• Mümkün olan yerlerde doğrusal modeller (doğrusal regresyon, lojistik regresyon) kullanılır
• aksi takdirde tamamen bağlı katmanlar, kıvrımlı katmanlar ve bırakma ve son zamanlarda toplu normalleştirme gibi bir tür düzenlileştirme katmanlarına atma gibi derin ileri besleme ağları
• tabii ki, tipik olarak ReLU arasındaki aktivasyon katmanları ile tanh ve sigmoid de kullanılır.
• ve muhtemelen bazı maksimum havuzlamalar (her zaman değil: ortalama havuzlamalar ve diğerleri de kullanılır)

Üretken kullanımlar için yaygın teknikler şunları içerir:

• GAN ve milyonlarca varyasyonu, http://www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• otomatik kodlayıcılar, ancak son zamanlarda bunların yerini alma eğilimi var:
  • varyasyonel otomatik kodlayıcılar, VAE, https://arxiv.org/abs/1312.6114
  • üretken CNN'ler, wavenet: https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN'ler, örneğin seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

Geçenlerde buldum bu kağıt bir üretken model olarak cnns ile RBMs bütünleştirir "Boltzmann Kodlanmış olarak rakip Makineleri" konulu.

Yazarlar, matematiksel olarak bazı yönlerden "daha iyi" olduğunu ve BEAM'ın diğer GAN modellerine kıyasla veri dağıtımını doğru bir şekilde öğrenmeyi çok daha yetenekli göründüğü bazı oyuncak örneklerini gösteriyor.

CelebA yüzlerinin "gerçek dünya" ölçütü çok daha az etkileyiciydi - BEAM'ın diğer popüler GAN'ları daha iyi hatta daha iyi yaptığı açık değil. Bununla birlikte, bu ortamda RBM'lerin kullanımı kesinlikle ilginçtir.