«batch-normalization» etiketlenmiş sorular

Yani, son zamanlarda bir Katman Normalleştirme kağıdı var. Keras'larda da bir uygulaması var . Ancak, Tekrarlanan Toplu Normalizasyon (Cooijmans, 2016) ve Toplu Normalleştirilmiş Tekrarlayan Sinir Ağları (Laurent, 2015) başlıklı makaleler olduğunu hatırlıyorum . Bu üç arasındaki fark nedir? Anlamıyorum bu İlgili Çalışma bölümü var: Parti normalizasyonu daha önce tekrarlayan sinir …

30 deep-learning  rnn  normalization  batch-normalization 

Parti normalizasyonu ve ReLU'ların her ikisi de yok olan gradyan problemine çözümlerdir. Parti normalizasyonu kullanıyorsanız, sigmoid kullanmalı mıyız? Ya da parti normu kullanırken bile onları değerli kılan ReLU'ların özellikleri var mı? Sanırım toplu işte yapılan normalizasyon sıfır aktivasyon negatif gönderir. Bu, toplu işin "ölü ReLU" sorununu çözdüğü anlamına mı geliyor? …

9 deep-learning  batch-normalization