Tercihen farklı alanlarda (veya en azından farklı veri kümelerinde) nöral ağlar için düzenleme yöntemlerinin farklılıklarını gösteren yayınlanmış makaleler var mı?
Soruyorum çünkü şu anda çoğu insanın bilgisayar görüşünde düzenlileştirme için sadece bırakma hissi verdiğini hissediyorum. Farklı düzenleme yöntemleri kullanmak için bir neden olup olmadığını kontrol etmek istiyorum.
Yanıtlar:
İki puan:
Her neyse, sinir ağlarının ampirik çalışmalarına biraz şüpheliyim. Ağın topolojisinden gradyan iniş optimizasyon prosedürüne ve aktivasyon fonksiyonlarına ve her neyse, normalleştirme gibi test ettiğinize kadar ince ayar yapmak için çok fazla hiperparametre vardır. Daha sonra, her şey stokastiktir ve genellikle performans kazançları o kadar küçüktür ki, farklılıklar için istatistiksel olarak test edemezsiniz. Birçok yazar istatistiksel test yapmaktan bile rahatsız değil. Sadece çapraz doğrulamayı ortalama yaparlar ve hangi modelin kazanan olmak için en yüksek ondalık puan kazancına sahip olduğunu beyan ederler.
Bırakmayı teşvik eden bir çalışmayı, yalnızca başka bir düzenleyici teşvik ile çelişmek üzere bulabilirsiniz.
Bence her şey estetik tercihlerine bağlı. Bırakma IMHO, normalleşmeden daha biyolojik olarak akla yakın geliyor. Kalibre edilmesi de daha kolay görünüyor. Bu yüzden, kişisel olarak TensorFlow gibi bir çerçeve kullanırken tercih ederim. Sık sık yaptığımız kendi sinir ağımızı kullanmamız gerekiyorsa, uygulamayı kolaylaştıracağı için düzenlileştirmeyi kullanacağız.
Kesinlikle. Yaratan'ın makalesi Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf okuyun. Ama ben onu uygulayarak farkı görmeye teşvik ediyorum.