Derin öğrenme ile ilgili bu öğreticiye göre , ağırlık azalması (normalleştirme) genellikle önyargı terimlerine uygulanmaz. Neden?
Arkasındaki önem (sezgi) nedir?
Yanıtlar:
Aşırı takma genellikle modelin çıktısının giriş verilerindeki küçük değişikliklere duyarlı olmasını gerektirir (yani hedef değerlerin tam olarak enterpolasyonu için, takılan işlevde çok fazla eğriliğe ihtiyacınız vardır). Sapma parametreleri modelin eğriliğine katkıda bulunmaz, bu nedenle bunları düzenli hale getirmenin de çok az anlamı vardır.
L2'nin (veya L1) arkasındaki motivasyon, ağırlıkları kısıtlayarak, ağı kısıtlayarak, fazla takma olasılığınızın düşük olmasıdır. Önyargıların sabitlenmesi (örn. B = 1) olduğu için önyargıların ağırlıklarını kısıtlamak çok az mantıklıdır, bu nedenle daha yüksek bir esneklik verilmesi mantıklı olan nöron kesişmeleri gibi çalışır.
Ben önyargı terimi genellikle ortalama ile başlatılır eklersiniz 1ziyade 0biz çok uzakta sabit bir değerden gibi tavır bir şekilde bunu düzene isteyebilirsiniz, böylece 1yapıyor gibi 1/2*(bias-1)^2yerine 1/2*(bias)^2.
Belki de -1parçanın önyargıların ortalamasına bir çıkarma ile değiştirilmesinin , belki de katman başına bir ortalama veya genel olarak bir yardımcı olabilir. Ancak bu sadece yaptığım bir hipotezdir (ortalama çıkarma hakkında).
Bütün bunlar aktivasyon fonksiyonuna da bağlıdır. Örneğin: önyargılar yüksek sabit ofsete düzenli hale getirilirse, gradyanları yok etmek için burada sigmoidler kötü olabilir.
Öğretici "önyargı birimlerine ağırlık azalması uygulamak genellikle son ağda sadece küçük bir fark yaratır" diyor, bu yüzden yardımcı olmazsa, bir hiperparametreyi ortadan kaldırmak için bunu durdurabilirsiniz. Dengeyi düzenlemenin kurulumunuza yardımcı olacağını düşünüyorsanız, çapraz doğrulayın; denemenin hiçbir zararı yok.