2
Sinir ağındaki ağırlıkların başlatılmasında kesik normal dağılımın yararı nedir?
Bir ileri beslemeli sinir ağında bağlantı ağırlıkları başlatılırken, öğrenme algoritmasının kırılamayacağı simetrilerden kaçınmak için bunları rastgele başlatmak önemlidir. Çeşitli yerlerde gördüğüm öneri (örneğin, TensorFlow'un MNIST eğitiminde ), kesik normal dağılımı, standart sapması kullanarak kullanmaktır ; burada , nöron tabakası verildi.1N−−√1N\dfrac{1}{\sqrt{N}}NNN Standart sapma formülünün geri çoğaltılmış gradyanların çok hızlı çözülmemesini veya …