ReLU'yu neden sinir ağlarında kullanıyoruz ve nasıl kullanıyoruz?

Neden rektifiye edilmiş lineer birimleri (ReLU) sinir ağlarıyla kullanıyoruz? Bu sinir ağını nasıl geliştirir?

Neden ReLU'nun bir aktivasyon işlevi olduğunu söylüyoruz? Sinir ağları için softmax aktivasyon fonksiyonu değil mi? Hem ReLU hem de softmax kullandığımızı tahmin ediyorum:

softmax çıkışlı nöron 1 ---->
nöron 2'nin girişindeki nöron 1 çıkışındaki ReLU ---> softmax çıkışlı nöron 2 -> ...

Böylece nöron 2'nin girişi temel olarak ReLU (softmax (x1)) olur. Bu doğru mu?

$f(x)=\max(0, x).$

ReLU'ların sinir ağlarını iyileştirmesinin bir yolu, eğitimi hızlandırmaktır. Gradyan hesaplaması çok basittir ( işaretine bağlı olarak 0 veya 1 ). Ayrıca, bir ReLU'nun hesaplamalı basamağı kolaydır: Herhangi bir negatif element 0.0'a ayarlanır - üstel, çarpma veya bölme işlemleri yoktur.$x$

Lojistik ve hiperbolik teğet ağlarının gradyanları, ReLU'nun pozitif kısmından daha küçüktür. Bu, pozitif bölüm eğitim ilerledikçe daha hızlı bir şekilde güncellendiği anlamına gelir. Ancak, bunun bir bedeli var. Sol taraftaki 0 ​​gradyanı, "ölü nöronlar" adı verilen ve gradyan güncellemesinin gelen değerleri bir ReLU'ya ayarladığı ve çıktının daima sıfır olacağı bir problemi vardır; ELU (veya Sızdıran ReLU veya PReLU vb.) gibi değiştirilmiş ReLU birimleri bunu iyileştirebilir.

$\frac{d}{dx}\text{ReLU}(x)=1\forall x > 0$ . Buna karşılık, bir sigmoid birimin gradyanı en çok ; Öte yandan, bileti daha girişler için 0'a yakın bir bölgede yana (yaklaşık olarak).$0.25$$\tanh$$0.25 < \frac{d}{dx}\tanh(x) \le 1 \forall x \in [-1.31, 1.31]$

Dikkat edilmesi gereken en önemli şey, ReLU'nun iddiasız olduğu. ReLU'nun olduğu göz önüne alındığında, herhangi bir sonlu kompozisyon için olduğunu görmek kolaydır . Bu özellik, derin sinir ağları için çok önemlidir, çünkü ağdaki her katman bir doğrusal olmayanlık uygulamaktadır. Şimdi, iki kez sigmoid ailesi işlevini aynı girişe tekrar tekrar 1-3 kez uygulayalım:$\rho(x) = \max(0, x)$$\rho \circ \rho \circ \rho \circ \dots \circ \rho = \rho$

Sigmoid fonksiyonunun, “kaybolan gradyan problemi” ile sonuçlanan girdilerini "ezmesi" ni hemen görebilirsiniz: türevler sıfıra yaklaşırken (tekrarlanan uygulamaların sayısı) sonsuzluğa yaklaşır.$n$

ReLU, x girişli maksimum fonksiyondur (x, 0). Daha sonra ReLU, x matrisindeki tüm negatif değerleri sıfıra ayarlar ve diğer tüm değerler sabit tutulur.

ReLU, evrişimden sonra hesaplanır ve bu nedenle tanh veya sigmoid gibi doğrusal olmayan bir aktivasyon işlevi görür.

Softmax, sinir ağının sonundaki bir sınıflandırıcıdır. Bu, çıktıları 0 ile 1 arasındaki değerlere göre düzenlemek için lojistik regresyondur (Alternatif bir SVM sınıflandırıcısıdır).

CNN Yönlendirme Geçişi örneğin: giriş-> conv-> ReLU-> Havuz-> conv-> ReLU-> Havuz-> FC-> softmax

ReLU bir değişmez anahtardır. 1 voltluk bir elektrik anahtarı ile 1 volt verir, n volt açık olduğunda n volt verir. Sıfır değiştirmeye karar verdiğinizde Açık / Kapalı, ReLU ile tam olarak aynı grafiği verir. Birkaç ağırlıklı toplamın ağırlıklı toplamı (nokta ürün) hala doğrusal bir sistemdir. Belirli bir giriş için ReLU anahtarları ayrı ayrı açık veya kapalıdır. Bu, girdiden çıktıya kadar belirli bir doğrusal projeksiyonla sonuçlanır, çünkü çeşitli ağırlıklı toplam ağırlık ... toplamı anahtarlarla birbirine bağlanır. Belirli bir giriş ve belirli bir çıkış nöronu için, aslında tek bir etkili ağırlıklı toplama özetlenebilen ağırlıklı toplamların bir bileşik sistemi vardır. ReLU sıfıra geçiş yaptığından, girdideki kademeli değişiklikler için çıktıda ani süreksizlik yoktur.

FFT ve Walsh Hadamard dönüşümü gibi sayısal olarak verimli ağırlıklı toplam (nokta ürün) algoritmaları vardır. Bunları ReLUa dayalı bir sinir ağına dahil edememenizin ve hesaplama kazançlarından yararlanmanızın hiçbir nedeni yoktur. (örn. Sabit filtre bankası sinir ağları.)