NN mimarisini dinamik olarak ayarlamak: gereksiz olanı icat etmek?

Doktora yolculuğuma başlıyorum ve kendimden önce belirlediğim nihai hedef, çalıştıkları ortamı izleyecek ve mimarilerini eldeki soruna dinamik olarak ayarlayacak YSA'lar geliştiriyor. Açık olan sonuç verinin zamansallığıdır: eğer veri seti sürekli değilse ve zamanla değişmezse, neden hiç ayarlama yapmıyorsunuz?

Büyük soru şudur: derin öğrenmenin son zamanlarda artmasıyla birlikte, hala ilgili bir konu mu? FFNN'ler kavram sürüklenme problemlerinde kendilerine bir yer bulma şansı var mı?

Çok fazla soru ile iş parçacığı aşırı yüklemek için korkuyorum, ama bu tamamen konu dışı değil: Ben RNNs farkındayım, ama onlarla sınırlı (tamam, hiçbiri veya tamamen teorik) deneyimim var; Dinamik mimari adaptasyonun RNN'ler bağlamında ilgili bir konu olması gerektiğine inanıyorum. Soru, daha önce cevaplandı mı ve tekerleği yeniden keşfedecek miyim?

PS, MetaOptimize'e çapraz gönderildi

Kademeli Korelasyon Sinir Ağları, eğitim süreci sırasında gizli düğümler ekleyerek yapılarını ayarlar, bu nedenle burası başlangıç ​​için bir yer olabilir. Bir sinir ağının katman sayısını, gizli düğüm sayısını, vb. Otomatik olarak ayarlayan diğer çalışmaların çoğu evrimsel algoritmalar kullanır.

Ne yazık ki, bu çalışma benim alanım dışında, bu yüzden başlamanıza yardımcı olacak belirli makaleler veya referanslar öneremem. Size derin öğrenme topluluğunda ağ yapısını ve parametrelerini aynı anda optimize etmeye çalışan hiçbir çalışma görmediğimi söyleyebilirim. Aslında, en derin öğrenme mimarileri, bir seferde tek bir katmanı açgözlülükle öğrenmeye dayanır, böylece derin sinir ağlarının çevrimiçi öğrenmesini bile dokunulmamış bir alan haline getirir (Martens ve arkadaşlarının Hessian Free Optimization'ın çalışması dikkate değer bir istisnadır).

Yapıcı sinir ağlarına yeni yaklaşımlar geliştirmeyi düşünmenin bir başka nedeni (söz konusu CC algoritması @alto) istatistik dışındaki uygulamalardadır . Özellikle, teorik sinirbilim ve bilişsel bilimde, yapıcı sinir ağları, gelişime ve nörojeneze metaforik bir benzerlik nedeniyle sıklıkla kullanılır. Bunun için kaskad korelasyonunun ağır kullanımına bir örnek için , Thomas R. Shultz'un yayınlarına bir göz atın . Ne yazık ki, kademeli korelasyon yaklaşımı biyolojik gerçekçi değildir ve bir nörobilim eğilimi varsa, ayarlanabilir mimariye sahip yeni NN'lerin daha iyi gelişim ve / veya nörogenez modelleri olarak nasıl kullanılabileceğini düşünmeye değer.