Doğrusal olmayanları doyurma terimi ne anlama geliyor?

Deep Convolutional Yapay Sinir Ağları ile ImageNet Sınıflandırması makalesini okuyordum ve 3. bölümde, Convolutional Sinir Ağlarının yapısını nasıl kullandıklarını açıkladıklarını açıklıyorlardı:

doygun olmayan doğrusal olmayan$f(x) = max(0, x).$

çünkü eğitmek daha hızlıydı. Bu yazıda, CNN'lerde, sigmoidde ve hiperbolik teğetsel fonksiyonlarda (yani ve kullanılan daha geleneksel fonksiyonlar olarak doygun olmayan doymamışlıklara değindikleri görülüyor. doygunlaştırıcı olarak).$f(x) = tanh(x)$$f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$

Neden bu işlevleri “doygun” veya “doygun olmayan” olarak adlandırıyorlar? Bu işlev hangi anlamda “doygun” ya da “doygun olmayan”? Bu terimler evrişimsel sinir ağları bağlamında ne anlama geliyor? Makine öğreniminin diğer alanlarında (ve istatistiklerinde) kullanılıyor mu?

Sezgi

Doyuran bir aktivasyon fonksiyonu girişi sıkar.

Tanımlar

• $f$$(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
• $f$$f$

Bu tanımlar konvolüsyonel sinir ağlarına özgü değildir.

Örnekler

$f(x)=max(0,x)$$\lim_{z\to+\infty} f(z) = +\infty$

olarak tanımlanan sigmoid aktivasyon işlevi$f(x) = \frac{1}{1 + e^{-x}}$$[0,1]$

$[-1,1]$

(rakamlar CS231n , MIT Lisansı)

En yaygın aktivasyon fonksiyonları LOG ve TanH'dir. Bu fonksiyonlar, sinirsel cevabı gerçek sayıların sınırlı bir alt kümesine sıkıştırdıkları anlamına gelen kompakt bir aralığa sahiptir. LOG, girişleri 0 ile 1 arasında, TAN H'yi -1 ile 1 arasında çıkışlara sıkıştırır. Bu fonksiyonlar sınırlarda sınırlayıcı davranış sergiler.

Sınırda, çıkışın ∂yj / ∂xj girişine göre gradyanı çok küçüktür. Yani Gradient küçük olduğundan yakınsamaya giden küçük adımlardır, dolayısıyla yakınsama için daha uzun zaman alır.