2
Ne zaman kullanılmalı (He veya Glorot) düzgün init üzerinden normal başlatma? Ve Toplu Normalleştirme ile etkileri nelerdir?
Artık Ağın (ResNet) O'nun normal kullanıma hazırlanmasını popüler yaptığını biliyordum. ResNet'te He normal başlatma, ilk katman He üniforma başlatmayı kullanır. ResNet makalesine ve "Doğrultucuların Derinliklerine Çıkarma" kağıdına baktım. Ayrıca: Toplu Normalleştirme, çok daha yüksek öğrenme oranları kullanmamızı ve başlatma konusunda daha az dikkatli olmamızı sağlar. Toplu Normalleştirme makalesinin özetinde, Toplu …