tanh aktivasyon fonksiyonu vs sigmoid aktivasyon fonksiyonu

Tanh aktivasyon fonksiyonu:

t a n h (x) = 2 \cdot σ (2 x) - 1

$tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1$

Burada , sigmoid fonksiyonu, aşağıdaki gibi tanımlanır: . $\sigma(x)$

σ (x) = \frac{e^{x}}{1 + e^{x}}

$\sigma(x) = \frac{e^x}{1 + e^x}$

Sorular:

Bu iki etkinleştirme işlevinin (tanh vs. sigma) kullanılması arasında gerçekten önemli mi?
Hangi fonksiyon hangi durumlarda daha iyidir?

— satya
kaynak

tanh (x) = 2 σ (2 x) - 1

$\textrm{tanh}(x) = 2\sigma(2x) - 1$

— Roman Shapovalov

Derin Sinir Ağları devam etti. Mevcut tercih RELU işlevidir.

— Paul Nord

@PaulNord Hem tanh hem de sigmoidler hala RELU gibi diğer aktivasyonlarla birlikte kullanılır, ne yapmaya çalıştığınıza bağlıdır.

— Tahlor,

Yanıtlar:

Evet, teknik nedenlerden dolayı önemlidir. Temel olarak optimizasyon için. LeCun ve ark. ( Verimli Backprop) okumaya değer .

Bu seçimin iki nedeni vardır (verilerinizi normalleştirdiğinizi varsayarsak, bu çok önemlidir):

Daha güçlü gradyanlara sahip: veriler 0 civarında merkezlendiğinden, türevler daha yüksektir. Bunu görmek için, tanh fonksiyonunun türevini hesaplayın ve aralığının (çıkış değerleri) [0,1] olduğuna dikkat edin.

Tanh fonksiyonunun aralığı [-1,1] ve sigmoid fonksiyonun aralığı [0,1]

Degradelerde önyargıdan kaçınma. Bu, makalede çok iyi açıklanmıştır ve bu sorunları anlamak için okumaya değer.

— jpmuc
kaynak

Önerdiğin belgede ufak bir şüphem var. 14. sayfada, "MLP ağırlıkları paylaştığında (örneğin: Konvolüsyonlu ağlar), Öğrenme hızı, ağırlığı paylaşan bağlantıların hiçbirinin karekökü ile orantılı olarak seçilmelidir." Lütfen nedenini açıklayabilir misiniz?

— Satya

bu soru zaten burada cevaplandı istatistik.stackexchange.com/questions/47590/…

— jpmuc

Bu çok genel bir sorudur. Uzun lafın kısası: Maliyet fonksiyonu sinir ağının ne yapması gerektiğini belirler: sınıflandırma veya regresyon ve nasıl. Christopher Bishop tarafından "Örüntü Tanıma için Sinir Ağları" nın bir kopyasını edinebilirseniz bu harika olurdu. Ayrıca Mitchell tarafından "Makine Öğrenmesi", daha temel bir düzeyde size iyi bir açıklama sunar.

— jpmuc

Üzgünüm, Satya, genellikle hafta içi oldukça meşgulüm. Verilerinizi tam olarak nasıl normalleştirirsiniz? en.wikipedia.org/wiki/Whitening_transformation Sorununuzun ne olabileceğinden tam olarak emin değilim. En kolay yol ortalamayı çıkartmak ve sonra kovaryans matrisi ile eşitlemektir. Evtl. Yüksek frekanslar için bir parça eklemeniz gerekir (yukarıdaki referansta ZCA dönüşümü bölümüne bakınız)

— jpmuc

Çok teşekkürler juampa. Bana gerçekten çok yardımcı oluyorsun. Önerilen okumalar çok iyi. Aslında iklim veri madenciliği üzerine bir proje yapıyorum. Giriş özelliklerimin% 50'si sıcaklık (200K-310K aralığında) ve giriş özelliklerimin% 50'si basınç değerleridir (aralık 50000pa ila 100000pa). Beyazlatma yapıyorum Pca'dan önce normalize etmene gerek var mı? Evetse, nasıl normalleştirmeliyim? Ortalamanınca çıkarmadan önce mi yoksa ortalamanın çıkarılmasından sonra normalleşmeli miyim? Farklı yöntemler kullanarak normalleştiriyorsam farklı sonuçlar alıyorum ...

— satya

Çok teşekkürler @jpmuc! Cevabınızdan ilham alarak tanh fonksiyonunun türevini ve standart sigmoid fonksiyonunu ayrı ayrı hesapladım ve çizdim. Hepinizi paylaşmak istiyorum. İşte elimde ne var. Bu tanh fonksiyonunun bir türevidir. [-1,1] arasındaki giriş için, [0,42, 1] arasında türev var.

Bu f (x) = 1 / (1 + exp (-x)) standart sigmoid fonksiyonunun türevidir. [0,1] arasındaki girişler için [0,20, 0,25] arasında türev var.

Görünüşe göre tanh işlevi daha güçlü gradyanlar sağlar.

— Mina HE
kaynak

Buna bakmanın bir başka yolu σ (2x) 'in σ (x) ile aynı olmasıdır, ancak yatay bir gerdirmeli uygulanmış, ölçek faktörü 1/2 (yani aynı grafiktir, ancak her şey y eksenine sıkıştırılmıştır). Onu

— ezdiğinde

Bunun neden bir fark yaratacağını anlamıyorum. Ölçek ve ezilme her düğüm için rasgele olacak ve (giriş ve çıkıştaki ofsetler ve ağırlıklarla birlikte) her ikisi de aynı sonuca yakınsayan evrensel tahminciler olacaktır.

— Endolit