Makale: Katman Normalizasyonu, Tekrarlayan Toplu Normalizasyonu (2016) ve Toplu Normalleştirilmiş RNN'i (2015) arasındaki fark nedir?

Yani, son zamanlarda bir Katman Normalleştirme kağıdı var. Keras'larda da bir uygulaması var .

Ancak, Tekrarlanan Toplu Normalizasyon (Cooijmans, 2016) ve Toplu Normalleştirilmiş Tekrarlayan Sinir Ağları (Laurent, 2015) başlıklı makaleler olduğunu hatırlıyorum . Bu üç arasındaki fark nedir?

Anlamıyorum bu İlgili Çalışma bölümü var:

Parti normalizasyonu daha önce tekrarlayan sinir ağlarına yayılmıştır [Laurent ve diğerleri, 2015, Amodei ve diğerleri, 2015, Cooijmans ve diğerleri, 2016]. Önceki çalışma [Cooijmans ve ark., 2016], her zaman aşaması için bağımsız normalleştirme istatistiklerini koruyarak tekrarlayan parti normalizasyonunun en iyi performansının elde edildiğini göstermektedir. Yazarlar, tekrarlayan parti normalizasyon katmanında kazanç parametresinin 0,1 olarak başlatılmasının, modelin nihai performansında önemli bir fark yarattığını göstermektedir. Çalışmamız aynı zamanda kilo normalleşmesi ile de ilgilidir [Salimans ve Kingma, 2016]. Ağırlık normalizasyonunda, varyans yerine, gelen ağırlıkların L2 normu toplanan girdileri bir nörona normalleştirmek için kullanılır.. Beklenen istatistikleri kullanarak ağırlık normalizasyonu veya parti normalizasyonu uygulamak, orijinal ileri beslemeli sinir ağının farklı bir parametrelemesine eşdeğerdir. ReLU ağındaki yeniden parametreleştirme Pathnormalize SGD'de incelenmiştir [Neyshabur et al., 2015]. Bununla birlikte, önerilen katman normalleştirme yöntemi, orijinal sinir ağının yeniden parametreleştirilmesi değildir. Dolayısıyla normalleştirilmiş katman modeli, aşağıdaki bölümde çalışacağımız diğer yöntemlerden farklı değişmezlik özelliklerine sahiptir.

• Katman normalleştirmesi ( Ba 2016 ): Parti istatistiklerini kullanmaz. Geçerli örneğin katmanındaki tüm birimlerden toplanan istatistikleri kullanarak normalleştirin. ConvNets ile iyi çalışmıyor.

• Tekrarlayan Toplu Normalleştirme (BN) ( Cooijmans, 2016 ; Qianli Liao ve Tomaso Poggio tarafından da eşzamanlı olarak önerildi , ancak RNN ​​/ LSTM yerine Tekrarlayan ConvNets üzerinde test edildi): Toplu normalleştirme ile aynı. Her zaman adımı için farklı normalleştirme istatistikleri kullanın. Her zaman adımı için bir ortalama ve standart sapma kümesi kaydetmeniz gerekir.

• Toplu Normalleştirilmiş Tekrarlayan Sinir Ağları ( Laurent, 2015 ): toplu normalleştirme yalnızca giriş ve gizli durum arasında uygulanır, ancak gizli durumlar arasında uygulanmaz. yani, normalleşme zaman içerisinde uygulanmaz.

• Akış Normalleşmesi ( Liao ve ark. 2016 ): mevcut normalleşmeleri özetler ve yukarıda belirtilen sorunların üstesinden gelir. ConvNets, tekrarlayan öğrenme ve çevrimiçi öğrenme (örneğin, her seferinde küçük bir toplu iş veya bir örnek) ile iyi çalışır:

• Ağırlık Normalizasyonu ( Salimans ve Kingma 2016 ): ne zaman bir ağırlık kullanılsa, ilk önce normuna bölünür , böylece elde edilen ağırlık normu . Yani, çıktı , burada ve sırasıyla girdi ve ağırlığı gösterir. Bir skaler ölçeklendirme faktörü daha sonra çıkışına çarpılır . Ancak deneyimlerime göre performans için gerekli gibi görünmüyor (ayrıca akış aşağı öğrenilebilir katmanlar da yine de bunu öğrenebilir).$L2$$L2$$1$$y = x*(w/|w|)$$x$$w$$g$$y = y*g$$g$

• Kosinüs Normalizasyonu ( Luo ve diğerleri 2017 ): ağırlık normalizasyonu kosinüs normalizasyonuna çok benzer, burada aynı normalizasyonu hem ağırlığa hem de girişe uygulanır: . Yine, manuel veya otomatik farklılaşma uygun ve degradelerini hesaplayabilir .$L2$$y = (x/|x|)*(w/|w|)$$x$$w$

De o Not Ağırlık ve Kosinüs Normalleştirme yoğun biyolojik vizyon modellemek için HMAX (1999 Riesenhuber) adlı ConvNets bir sınıfta 2000'li yıllarda (denilen normalleştirilmiş nokta ürününü) kullanılmıştır. Onları ilginç bulabilirsiniz.

Ref: HMAX Model Referansı

Ref: Kortikal Ağ Simülatörü Referansı

Ref: Cosine Normalleşme: Yapay Sinir Ağlarında Nokta Ürün Yerine Kosinüs Benzerliği Kullanma , Luo Chunjie, Zhan jianfeng, Wang lei, Yang Qiang