Weight_regularizer'ın Keras'ta artık kullanılamadığını ve onun yerine, etkinlik ve çekirdek düzenleyicisinin olduğunu fark ettim . Bilmek isterim:
Yanıtlar:
Etkinlik düzenleyici, ağın çıktısının bir işlevi olarak çalışır ve çoğunlukla gizli birimleri düzenlemek için kullanılırken, weight_regularizer, adından da anlaşılacağı gibi, ağırlıklar üzerinde çalışır ve bozulmalarını sağlar. Temel olarak, düzenleme kaybını çıktının ( activity_regularizer) veya ağırlıkların ( weight_regularizer) bir fonksiyonu olarak ifade edebilirsiniz .
Belgelerden çok açık olmasa da yeni kernel_regularizeryerini alıyor weight_regularizer.
Tanımından kernel_regularizer:
kernel_regularizer:
kernelAğırlık matrisine uygulanan düzenleyici işlevi (düzenleyiciye bakın).
Ve activity_regularizer:
activity_regularizer: Katmanın çıktısına uygulanan düzenleyici işlevi ("aktivasyonu"). (düzenleyiciye bakın).
Önemli Düzenleme : bir hata var Not olduğu activity_regularizer edildi ancak keras sürümünde 2.1.4 giderilmiştir (Tensorflow arka ucuyla en azından). Aslında, eski sürümlerde, etkinlik düzenleyici işlevi, çıktıya (amaçlandığı gibi katmanın gerçek etkinleştirmeleri) uygulanmak yerine, katmanın girdisine uygulanır. Bu nedenle, Keras'ın daha eski bir sürümünü kullanıyorsanız (2.1.4'ten önce), etkinlik düzenlemesi muhtemelen amaçlandığı gibi çalışmayabilir.
Üzerinde taahhüt görebilirsiniz GitHub'dan
Bu cevap biraz geç, ancak gelecekteki okuyucular için yararlıdır. Dedikleri gibi zorunluluk, buluşun anasıdır. Sadece ihtiyacım olduğunda anladım.
Yukarıdaki cevap, her ikisinin de ağırlıkları etkilemesine neden olan farkı gerçekten belirtmiyor, bu yüzden ağırlıkların kendilerini cezalandırmakla katmanın çıktısı arasındaki fark nedir?
İşte cevap: Ağ ağırlıklarının küçük ve güzel olduğu, [-0.3] ile [+0.3] arasında değişen bir durumla karşılaştım.
Bu yüzden onları gerçekten cezalandıramam, onlarda yanlış bir şey yok. Çekirdek düzenleyici işe yaramaz. Bununla birlikte, katmanın çıktısı 100'lü yıllarda BÜYÜK.
Katmanın girdisinin de küçük olduğunu, her zaman birden az olduğunu unutmayın. Ancak bu küçük değerler, bu muazzam çıktıları üretecek şekilde ağırlıklarla etkileşime girer. Burada ihtiyacım olan şeyin çekirdek düzenleyiciden çok bir etkinlik düzenleyici olduğunu fark ettim. Bununla, bu büyük çıktılar için katmanı cezalandırıyorum, ağırlıkların kendilerinin küçük olması umrumda değil, sadece böyle bir duruma ulaşmasını engellemek istiyorum çünkü bu sigmoid aktivasyonumu doyuruyor ve kaybolma gibi tonlarca başka soruna neden oluyor. gradyan ve durgunluk.
kernel_regularizerdeğiştirileceğinden tamamen eminweight_regularizermisin?