Önyargı nasıl başlatılmalı ve düzenli hale getirilmelidir?

Çekirdek başlatma hakkında birkaç makale okudum ve birçok makale çekirdeğin L2 düzenini kullandıklarını belirtiyor (genellikle ).$\lambda = 0.0001$

Herhangi biri, önyargıyı sabit sıfır ile başlatmaktan ve normalleştirmekten farklı bir şey yapıyor mu?

Çekirdek başlatma kağıtları

• Mishkin ve Matas: Tek ihtiyacınız olan iyi bir başlangıç
• Xavier Glorot ve Yoshua Bengio: Derin ileri beslemeli sinir ağlarını eğitmenin zorluklarını anlama
• He et al: Doğrultuculara Derinlemesine Bakış: ImageNet Sınıflandırmasında İnsan Düzeyinde Performansı Aşmak

Stanford CS231N Notlarından ( http://cs231n.github.io/neural-networks-2/ ):

Önyargıların başlatılması. Asimetri kırılması, ağırlıklardaki küçük rastgele sayılar tarafından sağlandığından, önyargıların sıfır olarak başlatılması mümkündür ve yaygındır. ReLU doğrusal olmama durumları için, bazı insanlar tüm önyargılar için 0.01 gibi küçük sabit bir değer kullanmayı sever, çünkü bu, tüm ReLU birimlerinin başlangıçta ateşlenmesini ve dolayısıyla bir degrade elde etmesini ve yayılmasını sağlar. Bununla birlikte, bunun tutarlı bir iyileşme sağlayıp sağlamadığı açık değildir (aslında bazı sonuçlar bunun daha kötü performans gösterdiğini göstermektedir) ve sadece 0 önyargı başlatmayı kullanmak daha yaygındır.

LSTM'lerde önyargıları 1 olarak başlatmak yaygındır - örneğin http://www.jmlr.org/proceedings/papers/v37/jozefowicz15.pdf adresine bakın .