Sinir mimarileri: veri kontrollü otomatik tasarım

Sinir ağlarındaki son ilerleme, esas olarak büyüyen tasarım karmaşıklığı ile karakterize edilen bir dizi yeni mimariyle özetlenmektedir. LeNet5'ten (1994) AlexNet'e (2012), Overfeat (2013) ve GoogleLeNet / Inception (2014) ve benzeri ...

Makinenin verilere bağlı olarak hangi mimarinin kullanılacağına karar vermesine / tasarlamasına izin vermek için bir girişim var mı?

Nöro-evrim hakkındaki literatüre de bakmak isteyebilirsiniz . Örnekler:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Tekrarlayan ağ mimarilerinin ampirik bir keşfi. " (2015): optimal RNN yapılarını bulmak için evrimsel hesaplamayı kullandı.
• Franck Dernoncourt. " Medial Retiküler Formasyon: eylem seçimi için nöral bir substrat mı? Evrimsel hesaplama yoluyla bir değerlendirme. " Yüksek Lisans Tezi. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius ve Jürgen Schmidhuber. " Sekans öğrenmek için bellek hücre yapılarının geliştirilmesi. " Uluslararası Yapay Sinir Ağları Konferansı, s. 755-764. Springer Berlin Heidelberg, 2009 .: optimal RNN yapılarını bulmak için evrimsel hesaplamayı kullandı.

Takviye öğrenimi:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le ve Jeff Dean. "Parametre Paylaşımı ile Etkili Sinir Mimarisi Arama." arXiv ön baskı arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret ve Le, Quoc V. ICLR, 2017'de. Https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Derin Ağlarda Nöron Sayısını Öğrenme. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Güçlendirici Öğrenmeyi Kullanarak Yapay Sinir Mimarileri Tasarlama. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Takviyeli Öğrenme ile Sinir Mimarisi Arama. https://arxiv.org/abs/1611.01578

Çeşitli:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Degrade iniş ile degrade iniş ile öğrenmeyi öğrenme https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Sinir Ağı Hiperparametrelerini Diyalog Yasası Sınıflandırması için Gauss Süreçleriyle Optimize Etme , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri ve Scott Yang. "AdaNet: Yapay Sinir Ağlarının Uyarlamalı Yapısal Öğrenimi." arXiv baskı öncesi arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Hem ağın yapısını hem de ağırlıklarını öğrenen yaklaşım.

Araştırma böyle bir yöne doğru ilerliyor gibi görünüyor:

• Miconi, Thomas. " Farklılaşabilir yapıya sahip sinir ağları. ", ArXiv (2016): yazar, objektif fonksiyona dahil etmek için farklılaştırılabilir ağ yapısı kavramını tanıtmaktadır.

Google'ın AutoML'si buna bir örnektir. Başarıyla sonuçlanan ImageNet veri kümesi üzerinde uygulandı NASNet bu yazı olarak, doğruluk bakımından tüm diğer modeller aştı. Ana makale burada:

Ölçeklenebilir Görüntü Tanıma için Aktarılabilir Mimarileri Öğrenme - Zoph, et. ark.