«batch-normalization» etiketlenmiş sorular

Toplu normalizasyon (BN) kağıdını (1) okuyordum ve modelin doğruluğunu izlemek için hareketli ortalamalar kullanma ihtiyacını anlamadım ve bunun doğru bir şey olduğunu kabul etsem bile anlamıyorum tam olarak ne yaptıklarını. Anladığım kadarıyla (ki bu benim yanlışım) makalede, modelin eğitimi bittikten sonra istatistiklerini mini parti yerine nüfus istatistiklerini kullandığından bahsediliyor. Tarafsız …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Anladığım kadarıyla, parti normu tüm giriş özelliklerini bir katmana normal bir birim normal dağılımına normalleştirir, N(μ=0,σ=1)N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1). Ortalama ve varyansμ,σ2μ,σ2\mu, \sigma^2 mevcut mini parti için değerleri ölçülerek tahmin edilir. Normalleştirmeden sonra girişler skaler değerlerle ölçeklenir ve kaydırılır: x^′i=γx^i+βx^i′=γx^i+β\hat{x}_i' = \gamma \hat{x}_i + \beta (Burada yanılıyorsam beni düzeltin - burası biraz emin …

13 batch-normalization 

Parti normalizasyonu , derin sinir ağlarında önemli performans iyileştirmeleri ile kredilendirilmiştir. İnternetteki birçok malzeme, aktivasyon bazında nasıl uygulanacağını göstermektedir. Zaten matris cebiri kullanarak backprop uyguladım ve yüksek seviyeli dillerde çalıştığımı Rcpp(yoğun matris çarpımı için (ve sonunda forGPU'lara güvenerek) çalışırken , her şeyi kopyalayıp-döngülere başvurmak muhtemelen kodumu yavaşlatacaktır) büyük bir acıya …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization