Yapay sinir ağları neden topolojilerine uygulanan kısıtlamalarla daha iyi performans gösteriyor?

Tamamen bağlı (en az 2 gizli katmandan oluşan katmana katman) backprop ağları evrensel öğrenicilerdir. Ne yazık ki, genellikle öğrenmeleri yavaş ve aşırı uyuyor ya da garip genellemeler yapıyorlar.

Bu ağlarla uğraşmaktan, bazı kenarların budanmasının (ağırlıklarının sıfır olması ve değişmesi imkansız) bu ağların daha hızlı öğrenmesini ve daha iyi bir şekilde öğrenmesini sağlama eğiliminde olduğunu gördüm. Bunun bir nedeni var mı? Sadece ağırlık arama alanının boyutsallığındaki bir azalma nedeniyle mi, yoksa daha ince bir sebep mi var?

Ayrıca, daha iyi genelleme baktığım 'doğal' sorunların bir eseri mi?

Daha az sayıda düğüm / kenar (veya sabit ağırlıkta olan kenarlar), değerlerinin bulunması gereken daha az sayıda parametre olduğu anlamına gelir ve bu genellikle öğrenme süresini kısaltır. Ayrıca, daha az parametre olduğunda , sinir ağı tarafından ifade edilebilecek alanın boyutları daha azdır, böylece sinir ağı sadece daha genel modelleri ifade edebilir. Bu nedenle verilere fazla uyma yeteneğine sahip değildir ve bu nedenle modeller daha genel görünecektir.

Kenarları budayarak, eğitim algoritması için arama alanını düşürürsünüz; bu da zaman performansında anında bir kazanç sağlar. Ağın modelleyebileceği işlevler hakkında da kısıtlamalar getirdiniz. Kısıtlamalar, modelinizi daha genel bir çözüm bulmaya zorlayabilir, çünkü daha doğru olanına erişilemez. Yapay sinir ağlarının eğitimi için yaygın bir teknik, degrade iniş tekniği kullanmaktır. Budamanın bir başka sonucu da, eğitim algoritmasının daha iyi bir çözüm bulmasına izin veren parametre peyzajında ​​bazı yerel minimumları ortadan kaldırmış olmanız olabilir.

Daha iyi genellemeniz baktığınız problemlerle ilgili olsaydı şaşırmam. Alttaki modelin sürekli bir yapıya sahip olduğu sinir ağları ile başarı elde ettim; Ayrıca, sinir ağı performansının genellikle giriş ve çıkış yapınızı nasıl yaptığınızla ilgili olduğunu unutmayın.