«batch-normalization» etiketlenmiş sorular

1
Makale: Katman Normalizasyonu, Tekrarlayan Toplu Normalizasyonu (2016) ve Toplu Normalleştirilmiş RNN'i (2015) arasındaki fark nedir?
Yani, son zamanlarda bir Katman Normalleştirme kağıdı var. Keras'larda da bir uygulaması var . Ancak, Tekrarlanan Toplu Normalizasyon (Cooijmans, 2016) ve Toplu Normalleştirilmiş Tekrarlayan Sinir Ağları (Laurent, 2015) başlıklı makaleler olduğunu hatırlıyorum . Bu üç arasındaki fark nedir? Anlamıyorum bu İlgili Çalışma bölümü var: Parti normalizasyonu daha önce tekrarlayan sinir …

2
Parti normalizasyonu sigmoidlerin ReLU'lardan daha iyi çalıştığı anlamına mı geliyor?
Parti normalizasyonu ve ReLU'ların her ikisi de yok olan gradyan problemine çözümlerdir. Parti normalizasyonu kullanıyorsanız, sigmoid kullanmalı mıyız? Ya da parti normu kullanırken bile onları değerli kılan ReLU'ların özellikleri var mı? Sanırım toplu işte yapılan normalizasyon sıfır aktivasyon negatif gönderir. Bu, toplu işin "ölü ReLU" sorununu çözdüğü anlamına mı geliyor? …
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.