Kendi topolojilerini oluşturan modern sinir ağları

Standart sinir ağı algoritmalarının (backprop gibi) sınırlamaları, kaç tane gizli katman ve katman başına nöron istediğiniz bir tasarım kararı vermeniz gerektiğidir. Genellikle, öğrenme oranı ve genelleme bu seçimlere karşı oldukça hassastır. Bunun nedeni, kaskad korelasyonu gibi sinir ağı algoritmalarının ilgi uyandırmasının nedeni olmuştur. Minimal bir topoloji ile başlar (sadece giriş ve çıkış birimi) ve öğrenme ilerledikçe yeni gizli birimleri işe alır.

CC-NN algoritması 1990'da Fahlman tarafından ve 1991'de tekrarlanan versiyonuyla tanıtıldı. Minimal bir topoloji ile başlayan daha yeni (1992 sonrası) sinir ağı algoritmaları nelerdir?

İlgili sorular

CogSci.SE: Biyolojik olarak mantıklı nörojenez hesaplarına sahip sinir ağları

Buradaki açık soru, bir sinir ağının veya makine öğrenim modelinin topolojisini / yapısını nasıl belirleyebildiğinizdir; böylece model "doğru boyutta" olur ve fazla donuk / donuk değil.

1990’daki art arda gelen korelasyondan bu yana, bunu yapmak için bir çok metot mevcuttu, birçoğu çok daha iyi istatistiksel veya hesaplama özelliklerine sahip:

• artırma: her seferinde zayıf öğrenciyi eğitin; her zayıf öğrenciye, yeniden öğrenilmiş bir eğitim seti verildi, böylece eski öğrencilerin öğrenemediği şeyleri öğrendi.
• Kement veya otomatik alaka düzeyi tespiti gibi normalleşmeyi teşvik eden seyreklik: büyük bir model / ağ ile başlayın ve gereksiz birimleri "kapalı" olmalarını sağlayan ve aktif olanları bırakarak teşvik eden bir düzenleyici kullanın.
• Bayes parametrik olmayan: "doğru" model boyutunu bulmaya çalışmayı unut. Sadece büyük bir model kullanın ve Bayesian'ı düzenli hale getirmeye / olmaya özen gösterin; Örneğin, sonsuz sayıda birime ve Gaussian öncüllerine sahip bir sinir ağı, eğitilmesi çok daha kolay olan bir Gauss süreci olarak türetilebilir.
• Derin öğrenme: Başka bir cevapta belirtildiği gibi, her seferinde bir katman derin bir ağ eğitin. Bu aslında katman başına birim sayısını belirleme problemini çözmez - genellikle bu hala elle veya çapraz doğrulama ile belirlenir.

Artırma Topolojilerinin NeuroEvolution'ı (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

Basit problemler için işe yarayacak gibi gözüküyor, ancak inanılmaz derecede yakınsamaları yavaş.

Günümüzde sanatın zirvesini anladığım kadarıyla "Denetimsiz Özellik Öğrenme ve Derin Öğrenme". kısaca: ağ her seferinde bir katman denetlenmemiş bir şekilde eğitiliyor:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Zaten NEAT'tan (Artan Topolojilerle Sinirsel Evrim) söz edildi. Türleşme ve HyperNEAT dahil olmak üzere bununla ilgili gelişmeler var. HyperNEAT, tamamen bağlı bir fenotipin ağırlığını optimize etmek için bir 'meta' ağı kullanır. Bu, görüntü tanıma ve masa oyunu tipi problemlerinde paha biçilemez olan bir ağ 'mekansal farkındalık' verir. Siz de 2B ile sınırlı değilsiniz. Sinyal analizi için 1D'de kullanıyorum ve 2D yukarı doğru mümkün ancak işlem zorunluluğu artıyor. Ken Stanley'nin makalelerini araştırın ve Yahoo'da bir grup var. Bir ağda izlenebilir bir probleminiz varsa, NEAT ve / veya HyperNEAT iyi uygulanabilir.

Bu konuda biraz yeni bir yazı var: RP Adams, H. Wallach ve Zoubin Ghahramani. Derin seyrek grafik modellerin yapısını öğrenme. Bu, normal sinir ağı topluluğunun biraz dışında ve makine öğrenmesi tarafında daha fazlası. Kağıt, ağ yapısı üzerinde parametrik olmayan Bayesian çıkarımı kullanmaktadır.