ReLU'nun derin sinir ağlarında sigmoid fonksiyon üzerindeki avantajları nelerdir?

Doğrusal olmama sanatının durumu, derin sinir ağında sigmoid işlevi yerine doğrultulan doğrusal birimler (ReLU) kullanmaktır. Avantajları nelerdir?

ReLU kullanıldığında bir ağın eğitilmesinin daha hızlı olacağını ve biyolojik olarak daha ilham verici olduğunu biliyorum, diğer avantajları nelerdir? (Yani, sigmoid kullanmanın herhangi bir dezavantajı)?

a = W x + $h = \max(0, a)$$a = Wx + b$

Bir büyük yarar, degradenin yok olma olasılığının azaltılmasıdır. Bu olduğunda ortaya çıkar . Bu rejimde gradyan sabit bir değere sahiptir. Buna karşılık, sigmoidlerin gradyanı, x'in mutlak değeri arttıkça, giderek daha küçük hale gelir. ReLU'ların sürekli gradyanı daha hızlı öğrenmeye neden olur.$a > 0$

ReLU'ların bir diğer yararı da azdır. Seyreklik olduğunda ortaya çıkar . Bir katmandaki bu tür birimler ne kadar fazlaysa sonuç gösterimi o kadar seyrek olur. Öte yandan, sigmoidlerin her zaman yoğun gösterimlerle sonuçlanan sıfır olmayan bir değer üretmesi muhtemeldir. Seyrek temsiller, yoğun temsillerden daha faydalı gibi görünmektedir.$a \le 0$

Avantajı:

• Sigmoid: aktivasyonu havaya uçurmuyor
• Relu: degrade kaybolmaz
• Relu: Relu'nun sadece max (0, ) seçmesi ve Sigmoid'lerde olduğu gibi pahalı üssel işlemleri gerçekleştirmemesi gerektiğinden, Sigmoid benzeri işlevlerden daha fazla hesaplama yapmak için daha verimlidir$x$
• Relu: Uygulamada, Relu'lu ağlar sigmoidlerden daha iyi yakınsama performansı gösterme eğilimindedir. ( Krizhevsky ve diğ. )

dezavantajı:

• Sigmoid: "olarak degrade azaltmak için bir mekanizma vardır neden (gradyan ortadan eğiliminde " "bir artış, ." Sigmoid Gradyan bir sigmoid fonksiyonu girişidir " " sonsuz büyüdükçe, ).$a$$a$$S'(a)= S(a)(1-S(a))$$a$$S'(a)= S(a)(1-S(a)) = 1\times(1-1)=0$

• Relu: aktivasyonu havaya uçurma eğilimindedir (" " nın kendisi çıktı olduğundan, nöronun çıktısını sınırlandırma mekanizması yoktur )$a$

• Relu: Ölmek Relu problemi - eğer çok fazla aktivasyon sıfırın altına düşerse, Relu ile ağdaki birimlerin (nöronların) çoğu sıfırla sonuçlanır, başka bir deyişle ölür ve böylece öğrenmeyi yasaklar. (Bu, bir dereceye kadar ele alınabilir, Bunun yerine Leaky-Relu kullanarak.)

Sadece diğer cevapları tamamlıyoruz:

Ufuk Gradyanları

Diğer cevaplar, girişin büyüdüğünden (mutlak değerde) sigmoid fonksiyonunun gradyanının küçüldüğünü belirtmekte haklıdır. Ancak, muhtemelen daha da önemli bir etki, sigmoid fonksiyonunun türevinin HER ZAMAN birinden küçük olmasıdır . Aslında en fazla 0.25!

Bunun alt tarafı, çok sayıda katmanınız varsa, bu degradeleri çarpacağınız ve 1 değerden daha küçük olan birçok ürünün çarpması çok hızlı bir şekilde sıfıra gidecektir.

Deep Learning'in sanatının durumu, daha fazla katmanın çok yardımcı olduğunu gösterdiğinden, Sigmoid işlevinin bu dezavantajı bir oyun katilidir. Sigmoid ile Derin Öğrenme yapamazsın.

$0$$a < 0$$1$$a > 0$

ReLU'ya kaybolan gradyanlar probleminden kaçınmaktan başka bir avantajı, çalışma süresinin daha düşük olmasıdır. max (0, a), sık sık hesaplanan yavaş bir üs kullanarak, herhangi bir sigmoid işlevinden (örneğin, lojistik işlevi = = 1 / (1 + e ^ (- a)) daha hızlı çalışır). Bu, ReLU'nun gradyanı olduğu için ileri ve geri besleme için hem doğrudur (eğer bir <0, = 0 else = 1 ise), sigmoid ile karşılaştırıldığında hesaplamak çok kolaydır (lojistik eğrisi için = e ^ a / ((1 + e ^ a) ^ 2)).

ReLU, ağ kapasitesini sınırlayan ölmekte olan hücrelerin dezavantajına sahip olmasına rağmen. Bunun üstesinden gelmek için, eğer yukarıda açıklanan sorunu fark ederseniz, sadece sızdıran ReLU, ELU gibi bir ReLU değişkenini kullanın.

Seyrek vs Yoğun performans tartışmasını tamamlamak için ek bir cevap .

Artık NN'yi düşünmeyin, sadece lineer cebir ve matris işlemlerini düşünün, çünkü ileri ve geri yayılımlar bir dizi matris işlemidir.

Unutmayın, seyrek matrikse uygulanacak çok sayıda optimize edilmiş operatör var ve bu yüzden bu işlemleri ağımızda optimize etmek algoritmanın performansını önemli ölçüde artırabilir.

Umarım bu bazılarınıza yardımcı olabilir ...

Başlıca yararı, ReLu türevinin 0 veya 1 olmasıdır, bu nedenle bununla çarpılması, kayıp fonksiyonunun sonundan uzakta olan ağırlıkların kaybolma derecesi probleminden muzdarip olan ağırlıklara neden olmayacaktır: