Aşırı uyumu kontrol etmeye yönelik bir yaklaşım olarak düzenlileşmeyi öğrendim ve bu fikri, bir araya getirdiğim geri yayılım ve Çok Katmanlı algılayıcının (MLP) basit bir uygulamasına dahil etmek istiyorum .
Şu anda aşırı uydurmayı önlemek için, çapraz doğrulama yapıyorum ve doğrulama setinde şu ana kadar en iyi skoru içeren ağı koruyorum. Bu iyi çalışıyor, ancak düzenlileştirme eklemek, düzenlileştirme algoritması ve parametresinin doğru seçiminde ağımın overfit olmayan bir modelde daha sistematik bir şekilde birleşmesini sağlayacaktır.
Güncelleme terimi için (Coursera ML dersinden) aldığım formül, örneğin her ağırlık için bir toplu güncelleme olarak belirtilir, hata yayılımından tüm eğitim seti için geçerli tüm deltalar toplandıktan sonra lambda * current_weight, kombine edilmeden önce bir ayarlama eklenir. delta, lambdanormalleştirme parametresi olan partinin sonunda çıkarılır .
Geri çoğaltma uygulamam, öğe başına ağırlık güncellemelerini kullanıyor. Bana göre sezgisel olarak iyi görünse de, sadece toplu yaklaşımı kopyalayamayacağımdan endişeliyim. Öğe başına daha küçük bir düzenleme süresi de işe yarıyor mu?
Örneğin lambda * current_weight / NN'nin eğitim setinin boyutu olduğu yerlerde - ilk bakışta bu makul görünmektedir. Konuyla ilgili hiçbir şey bulamadım ve bunun düzenli bir öğe başına güncelleme ile de işe yaramadığından, hatta farklı bir ad veya değiştirilmiş formülün altına girip girmediğini merak ediyorum.