Artıları / eksileri olan sinir ağlarında kapsamlı aktivasyon fonksiyonları listesi

Nöral ağlarda, artıları / eksileriyle birlikte (ve ideal olarak bazılarının başarılı oldukları veya başarılı olamadıkları yayınlara işaretçiler) kapsamlı bir etkinleştirme işlevleri listesi veren herhangi bir referans belgesi var mı?

neural-networks references

— Franck Dernoncourt
kaynak

YSA'lar hakkında yeterince bilgim yok, ancak etkinleştirme işlevleri önemli ölçüde farklı olmadıkça, bunları ayırmak çok zor olacaktır. Benzer bir durumun tartışması için cevabımı burada görebilirsiniz: logit ve probit modeller arasındaki fark .

— gung

hayır, oldukça büyük bir fark yaratıyor.

— Viliami

en.wikipedia.org/wiki/Activation_function iyi bir kaynaktır; dahil olmak üzere birçok başkaını kullanabilirsiniz sin(x), bkz. openreview.net/pdf?id=Sks3zF9eg .

— Piotr Migdal

Etkinleştirme İşlevleri ile İlgili Video Eğitimi için, Ziyaret: quickkt.com/tutorials/artificial-intelligence/deep-learning/…

— vinay kumar

Yanıtlar:

144

Şimdiye kadar öğrendiklerimin bir listesini burada yapmaya başlayacağım. @ Marcodena'nın dediği gibi, artılar ve eksiler daha zordur çünkü çoğunlukla bu şeyleri denemekten öğrenilen sezgisel deneyimlerdir, ama en azından incinemeyeceklerinin bir listesini yapmayı düşünüyorum.

Öncelikle, notasyonu açıkça tanımlayacağım böylece karışıklık olmaz:

Gösterim

Bu gösterim Neilsen'in kitabından .

Feedforward Sinir Ağı, birbirine bağlı birçok nöron tabakasıdır. Bir girdi alır, daha sonra bu giriş ağ üzerinden "kandırır" ve sinir ağı bir çıkış vektörü döndürür.

Daha teorik çağrı (aka çıkış) aktivasyon nöron tabaka, olan giriş vektörü öğesi. $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

Sonra bir sonraki katmanın girişini önceki ilişkiyle aşağıdaki ilişki yoluyla ilişkilendirebiliriz:

{bir}_{j}^{ben} = σ (\underset{k}{Σ} (w_{j k}^{ben} \cdot {bir}_{k}^{ben - 1}) + b_{j}^{ben})

$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

nerede

aktivasyon işlevidir, $\sigma$
gelen ağırlıktır nöron katman nöron tabakası, $w^i_{jk}$ $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$
, katmanındaki nöronununönyargısıdırve $b^i_j$ $j^{th}$ $i^{th}$
aktivasyon değerini temsil eder nöron tabakası. $a^i_j$ $j^{th}$ $i^{th}$

Bazen geç temsil etmek , diğer bir deyişle, bir nöronun aktivasyon değeri aktivasyon fonksiyonunu uygulamadan önce. $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

görüntü tanımını buraya girin

Kısa özlü gösterim için yazabiliriz

{bir}^{ben} = σ (w^{ben} x {bir}^{ben - 1} + b^{ben})

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

Bir girdi olarak ileri beslemeli ağda çıkışını hesaplamak için aşağıdaki formülü kullanmak için , set , ardından hesaplamak , katmanlarının sayısıdır. $I \in \mathbb{R}^n$ $a^1 = I$ $a^2, a^3, \ldots, a^m$ $m$

Aktivasyon İşlevleri

(aşağıda, okunabilirlik için yerine yazacağız ) $\exp(x)$ $e^x$

Kimlik

Ayrıca doğrusal bir aktivasyon işlevi olarak da bilinir.

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = z_{j}^{ben}

$a^i_j = \sigma(z^i_j) = z^i_j$

Kimlik

Adım

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = {\begin{cases} 0 & Eğer z_{j}^{ben} < 0 \\ 1 & Eğer z_{j}^{ben} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$

Adım

Parçalı doğrusal

Bazı seç ve bizim "aralık" dir. Bu aralıktan daha az olan her şey 0 olur ve bu aralıktan daha büyük olan her şey 1 olur. Başka bir şey arasında doğrusal olarak enterpolasyon yapılır. resmen: $x_{\min}$ $x_{\max}$

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = {\begin{cases} 0 & Eğer z_{j}^{ben} < x_{min} \\ m z_{j}^{ben} + b & Eğer x_{min} \leq z_{j}^{ben} \leq x_{maksimum} \\ 1 & Eğer z_{j}^{ben} > x_{maksimum} \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$

Nerede

m = \frac{1}{x_{max} - x_{min}}

$m = \frac{1}{x_{\max}-x_{\min}}$

b = - m x_{min} = 1 - m x_{maksimum}

$b = -m x_{\min} = 1 - m x_{\max}$

Parçalı doğrusal

sigmoid

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = \frac{1}{1 + tecrübe (- z_{j}^{ben})}

$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$

sigmoid

Tamamlayıcı log-log

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = 1 - tecrübe (- tecrübe (z_{j}^{ben}))

$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$

Tamamlayıcı log-log

iki kutuplu

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = {\begin{cases} - 1 & Eğer z_{j}^{ben} < 0 \\ 1 & Eğer z_{j}^{ben} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$

iki kutuplu

Bipolar Sigmoid

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = \frac{1 - tecrübe (- z_{j}^{ben})}{1 + tecrübe (- z_{j}^{ben})}

$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$ Bipolar Sigmoid

tanh

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = \tanh (z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$

tanh

LeCun'un Tanh'ı

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = 1,7159 \tanh (\frac{2}{3} z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$

LeCun'un Tanh'ı

Ölçekli:

LeCun'un Tanh'ı Ölçeklendirildi

Sert Tanh

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = maksimum (- 1, min (1, z_{j}^{ben}))

$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$

Sert Tanh

Kesin, mutlak

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = | z_{j}^{ben} |

$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$

Kesin, mutlak

doğrultucu

Rektifiye Doğrusal Birim (ReLU), Max veya Rampa Fonksiyonu olarak da bilinir .

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = maksimum (0, z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$

doğrultucu

ReLU’nun Değişiklikleri

Bunlar, MNIST için gizemli sebeplerden dolayı çok iyi bir performansa sahip gibi görünen bazı aktivasyon fonksiyonları.

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = maksimum (0, z_{j}^{ben}) + marul (z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$

Ölçekli:

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = maksimum (0, z_{j}^{ben}) + günah (z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$

Ölçekli:

Pürüzsüz Doğrultucu

Pürüzsüz Doğrultulmuş Doğrusal Birim, Pürüzsüz Maks veya Yumuşak artı olarak da bilinir

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = kütük (1 + tecrübe (z_{j}^{ben}))

$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$

Pürüzsüz Doğrultucu

Logit

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = kütük (\frac{z_{j}^{ben}}{(1 - z_{j}^{ben})})

$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$

Logit

Ölçekli:

Logit Ölçeklenmiş

istatistik ihtimal birimi

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = \sqrt{2} {erf}^{- 1} (2 z_{j}^{ben} - 1)

$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$

$\text{erf}$

Alternatif olarak, olarak ifade edilebilir

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = φ (z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$

$\phi$

istatistik ihtimal birimi

Ölçekli:

Probit Ölçeklendirilmiş

Kosinüs

Bkz Rastgele Mutfak Lavabo .

{bir}_{j}^{ben} = σ (z_{j}^{ben}) = marul (z_{j}^{ben})

$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$

Kosinüs

Softmax

{bir}_{j}^{ben} = \frac{tecrübe (z_{j}^{ben})}{\underset{k}{Σ} tecrübe (z_{k}^{ben})}

$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$

$z^i_j$ $\exp(z^i_j)$ $z^i_j$ $0$

$\log(a^i_j)$

kütük ({bir}_{j}^{ben}) = kütük (\frac{tecrübe (z_{j}^{ben})}{\underset{k}{Σ} tecrübe (z_{k}^{ben})})

$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$

kütük ({bir}_{j}^{ben}) = z_{j}^{ben} - kütük (\underset{k}{Σ} tecrübe (z_{k}^{ben}))

$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$

Burada log-sum-exp hilesini kullanmamız gerekiyor :

Diyelim ki bilgisayar kullanıyoruz:

kütük (e^{2} + e^{9} + e^{11} + e^{- 7} + e^{- 2} + e^{5})

$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$

Önce üstellerimizi kolaylık sağlamak için büyüklüklerine göre sıralayacağız:

kütük (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7})

$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$

$e^{11}$ $\frac{e^{-11}}{e^{-11}}$

kütük (\frac{e^{- 11}}{e^{- 11}} (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7}))

$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$

kütük (\frac{1}{e^{- 11}} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

kütük (e^{11} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

kütük (e^{11}) + kütük (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18})

$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

11 + kütük (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18})

$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

$\log(e^{11})$ $e^{-11}$ $\leq 0$

Resmen diyoruz $m=\max(z^i_1, z^i_2, z^i_3, ...)$

kütük (\underset{k}{Σ} tecrübe (z_{k}^{ben})) = m + kütük (\underset{k}{Σ} tecrübe (z_{k}^{ben} - m))

$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$

Softmax fonksiyonumuz daha sonra olur:

{bir}_{j}^{ben} = tecrübe (kütük ({bir}_{j}^{ben})) = tecrübe (z_{j}^{ben} - m - kütük (\underset{k}{Σ} tecrübe (z_{k}^{ben} - m)))

$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$

Aynı zamanda bir sidenote olarak softmax fonksiyonunun türevi:

\frac{d σ (z_{j}^{ben})}{d z_{j}^{ben}} = σ^{'} (z_{j}^{ben}) = σ (z_{j}^{ben}) (1 - σ (z_{j}^{ben}))

$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$

maxout

$z$ $a^i_j$

$n$

{bir}_{j}^{ben} = \underset{k \in [1, n]}{maksimum} s_{j k}^{ben}

$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$

nerede

s_{j k}^{ben} = {bir}^{ben - 1} ∙ w_{j k}^{ben} + b_{j k}^{ben}

$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$

$\bullet$

$W^i$ $i^{\text{th}}$ $W^i$ $W^i_j$ $j$ $i-1$

Eğer alt nöronlarımız olacaksa, her nöron için 2B ağırlık matrisine ihtiyacımız olacak, çünkü her bir alt nöron önceki katmandaki her nöron için bir ağırlık içeren bir vektöre ihtiyaç duyacaktır. Bu, anlamına gelir. $W^i$ $W^i_j$ $j$ $W^i_{jk}$ $k$ $j$ $i-1$

$b^i$ $b^i_j$ $j$ $i$

$b^i$ $i$ $b^i_j$ $b^i_{jk}$ $k$ $j^{\text{th}}$

$w^i_j$ $b^i_j$ $w^i_{jk}$ $a^{i-1}$ $i-1$ $b^i_{jk}$

Radyal Temel Fonksiyon Ağları

Radyal Temel Fonksiyon Ağları, kullanmak yerine Feedforward Sinir Ağlarının bir modifikasyonudur.

{bir}_{j}^{ben} = σ (\underset{k}{Σ} (w_{j k}^{ben} \cdot {bir}_{k}^{ben - 1}) + b_{j}^{ben})

$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

$w^i_{jk}$ $k$ $\mu^i_{jk}$ $\sigma^i_{jk}$

Daha sonra için aktivasyon fonksiyonumuzu adlandırırız. $\rho$ $\sigma^i_{jk}$ $a^i_j$ $z^i_{jk}$

z_{j k}^{ben} = \sqrt{‖ ({bir}^{ben - 1} - μ_{j k}^{ben} ‖} = \sqrt{\underset{ℓ}{Σ} ({bir}_{ℓ}^{ben - 1} - μ_{j k ℓ}^{ben})^{2}}

$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$

$\mu^i_{jk\ell}$ $\ell^\text{th}$ $\mu^i_{jk}$ $\sigma^i_{jk}$

z_{j k}^{ben} = \sqrt{({bir}^{ben - 1} - μ_{j k}^{ben})^{T} Σ_{j k}^{ben} ({bir}^{ben - 1} - μ_{j k}^{ben})}

$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$

$\Sigma^i_{jk}$

Σ_{j k}^{ben} = diag (σ_{j k}^{ben})

$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

$\Sigma^i_{jk}$ $\sigma^i_{jk}$ $a^{i-1}$ $\mu^i_{jk}$

Bunlar gerçekten sadece Mahalanobis mesafesinin "

z_{j k}^{ben} = \sqrt{\underset{ℓ}{Σ} \frac{({bir}_{ℓ}^{ben - 1} - μ_{j k ℓ}^{ben})^{2}}{σ_{j k ℓ}^{ben}}}

$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$

$\sigma^i_{jk\ell}$ $\ell^\text{th}$ $\sigma^i_{jk}$ $\sigma^i_{jk\ell}$

$\Sigma^i_{jk}$ $\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

Her iki durumda da, mesafe fonksiyonumuz seçildikten sonra, hesaplayabiliriz. $a^i_j$

{bir}_{j}^{ben} = \underset{k}{Σ} w_{j k}^{ben} ρ (z_{j k}^{ben})

$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$

Bu ağlarda, aktivasyon fonksiyonunu sebeplerle uyguladıktan sonra ağırlıklar ile çarpmayı seçerler.

$\mu^i_{jk}$ $\sigma^i_{jk}$ $a^i_j$

Ayrıca buraya bakınız .

Radyal Temel Fonksiyon Ağ Aktivasyon Fonksiyonları

Gauss

ρ (z_{j k}^{ben}) = tecrübe (- \frac{1}{2} (z_{j k}^{ben})^{2})

$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$

Gauss

Multikuadratik

$(x, y)$ $(z^i_j, 0)$ $(x, y)$

ρ (z_{j k}^{ben}) = \sqrt{(z_{j k}^{ben} - x)^{2} + y^{2}}

$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$

Bu Vikipedi'den . Sınırlandırılmamış ve herhangi bir pozitif değer olabilir, ancak normalleştirmenin bir yolu olup olmadığını merak ediyorum.

$y=0$ $x$

Multikuadratik

Ters Çok Kademeli

Çevrilmiş hariç, ikinci dereceden aynı:

ρ (z_{j k}^{ben}) = \frac{1}{\sqrt{(z_{j k}^{ben} - x)^{2} + y^{2}}}

$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$

Ters Çok Kademeli

* SVG kullanarak intmath Grafiklerinden Grafik .

— Phylliida
kaynak

CV'ye hoş geldiniz. +6 bu inanılmaz derecede bilgilendirici. Umarım gelecekte daha çok beğeniriz.

— gung

formun düzgün düzeltilmiş doğrusal fonksiyonu da var

\log (1 + \exp (x))

$\log(1+\exp(x))$ ve probit.

— 23’te Memming

Tamam, Sanırım Logit, Probit ve Complementary log-log'u ekledim, ancak bu konular hakkında derin bir anlayışa sahip değilim, bu yüzden onların yazılı halini yanlış anlayabiliyorum. Bu doğru mu?

— Phylliida

Bu güzel bir referans listesi ile ilginç bir makale olurdu. Örneğin arxiv.org/abs/1505.03654 . Bir makale yazmaya karar verirseniz ve başka referanslar istiyorsanız, benimle temas kurmaktan çekinmeyin.

— Hunaphu

birisi bunu Elu, Leaky ReLU, PReLU ve RReLU ile güncellemelidir.

— Viliami

Çok ayrıntılı olmasa da böyle bir liste: http://cs231n.github.io/neural-networks-1/

Yaygın olarak kullanılan aktivasyon fonksiyonları

Her aktivasyon işlevi (veya doğrusal olmayan ) tek bir sayı alır ve üzerinde belirli bir sabit matematiksel işlem gerçekleştirir. Pratikte karşılaşabileceğiniz birkaç aktivasyon işlevi vardır:

Sol: Sigmoid doğrusal olmayan squash, gerçek sayıları [0,1] arasında değişiyor. Sağ: Tanh doğrusal olmayan squash gerçek rakamları [-1,1] arasında değişiyor.
Sigmoid. Sigmoid doğrusal olmayanlık matematiksel bir biçime sahiptir $\sigma(x) = 1 / (1 + e^{-x})$ ve soldaki yukarıdaki resimde gösterilmektedir. Bir önceki bölümde değinildiği gibi, gerçek bir sayı alır ve onu 0 ile 1 arasında "squash" eder. Özellikle, büyük negatif sayılar 0 olur ve büyük pozitif sayılar 1 olur. Bir nöronun ateşleme hızı olarak iyi bir yorumu olduğundan: hiç bir şekilde ateşlememekten (0) varsayılan bir maksimum frekansta (1) tam doymuş ateşlemeye kadar. Uygulamada, doğrusal olmayan sigmoid yakın zamanda lehine düşmüştür ve nadiren kullanılmaktadır. İki önemli dezavantajı var:

Sigmoids doymuş ve degradeleri öldürür . Sigmoid nöronun çok istenmeyen bir özelliği, nöronun aktivasyonunun 0 veya 1 kuyruğunda doyması durumunda, bu bölgelerdeki gradyanın neredeyse sıfır olmasıdır. Geri yayılma sırasında, bu (yerel) degradenin, bu geçidin tüm hedef için çıktısının gradyanıyla çarpılacağını hatırlayın. Bu nedenle, yerel degrade çok küçükse, degradeyi etkin bir şekilde “öldürür” ve nörondan ağırlığına ve tekrarlayan bir şekilde verisine neredeyse hiçbir sinyal akmaz. Ek olarak, doymayı önlemek için sigmoid nöronların ağırlıkları başlatılırken ekstra bir dikkat gösterilmesi gerekir. Örneğin, ilk ağırlıklar çok büyükse, o zaman çoğu nöron doygun hale gelir ve ağ zar zor öğrenir.

Sigmoid çıkışları sıfır merkezli değildir . Bu istenmeyen bir durumdur, çünkü bir Sinir Ağında daha sonraki işlem katmanlarındaki nöronlar (bu konuda daha fazlası) sıfır merkezli olmayan veriler alacaktır. Bunun gradyan iniş sırasındaki dinamikleri üzerinde etkileri vardır, çünkü eğer bir nörona giren veriler her zaman pozitiftir (örneğin; $x > 0$ eleman olarak $f = w^Tx + b$ )), sonra ağırlıklardaki gradyan $w$ geri yayılma sırasında ya hepsi pozitif ya da tamamen negatif olur (tüm ifadenin gradyanına bağlı olarak) $f$ ). Bu, ağırlıklar için gradyan güncellemelerinde istenmeyen zig-zagging dinamiklerini getirebilir. Bununla birlikte, bu gradyanlar bir veri grubuna eklendikten sonra, ağırlıklar için son güncellemenin bu sorunu hafifleten değişken işaretleri olabileceğini unutmayın. Bu nedenle, bu bir rahatsızlıktır, ancak yukarıdaki doymuş aktivasyon problemine kıyasla daha az ciddi sonuçları vardır.

Tanh. Doğrusal olmayan tanh, sağdaki yukarıdaki resimde gösterilmektedir. [-1, 1] aralığına gerçek değerde bir sayı atar. Sigmoid nöron gibi aktivasyonları da doyurucudur, ancak sigmoid nöronun aksine çıkışı sıfır merkezlidir. Bu nedenle pratikte tanh doğrusal olmayanlık daima sigmoid doğrusal olmayanlık için tercih edilir. Ayrıca, tanh nöronunun sadece ölçeklendirilmiş bir sigmoid nöronu, özellikle de aşağıdakilerin tutulduğunu not edin: $\tanh(x) = 2 \sigma(2x) -1$ .

Sol: Rektifiye Doğrusal Birim (ReLU) aktivasyon fonksiyonu, x <0 olduğunda sıfırdır ve ardından x> 0 olduğunda eğim 1 ile doğrusaldır. Sağ: Krizhevsky ve ark. (pdf) Tanlu birimine oranla ReLU birimiyle birlikte 6 kat iyileşme gösteren kağıt.
Relu. Rectified Linear Unit son birkaç yılda çok popüler oldu. Fonksiyonu hesaplar $f(x) = \max(0, x)$ . Başka bir deyişle, aktivasyon basitçe sıfırda eşiklenir (soldaki yukarıdaki resme bakın). ReLU'ları kullanmanın birkaç avantajı ve dezavantajı vardır:

(+) Sigmoid / tanh fonksiyonlarına kıyasla Stokastik gradyan inişinin yakınsamasını büyük ölçüde hızlandırdığı (örneğin Krizhevsky ve diğerlerinde 6'nın bir faktörü ). Bunun doğrusal, doygun olmayan formundan kaynaklandığı iddia edilmektedir.

(+) Pahalı operasyonları (üstel vb.) İçeren tanh / sigmoid nöronlarla karşılaştırıldığında, ReLU basitçe bir aktivasyon matrisini sıfıra eşikleyerek uygulanabilir.

(-) Maalesef ReLU birimleri eğitim sırasında kırılgan olabilir ve "ölebilir". Örneğin, bir ReLU nöronundan akan büyük bir gradyan, ağırlıkların, nöronun bir daha asla bir veri noktasında tekrar aktive olmayacağı şekilde güncellenmesine neden olabilir. Bu durumda, ünite boyunca akan gradyan o noktadan itibaren sonsuza dek sıfır olacaktır. Yani, ReLU birimleri eğitim sırasında geri dönüşümsüz biçimde ölebilir çünkü veri manifoldundan çıkarılabilirler. Örneğin, öğrenme hızı çok yüksek ayarlanmışsa, ağınızın% 40'ının "ölü" (yani tüm eğitim veri kümesinde asla aktive olmayan nöronlar) olabileceğini görebilirsiniz. Öğrenme hızının uygun bir şekilde ayarlanması ile bu daha az sorun yaratır.

Sızdıran ReLU. Sızdıran ReLU'lar, "ölen ReLU" sorununu çözme girişimlerinden biridir. X <0 olduğunda, fonksiyon sıfır olmak yerine, sızdıran bir ReLU bunun yerine küçük bir negatif eğime sahip olacaktır (0,01, ya da öylesine). Yani, fonksiyon hesaplar $f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$ nerede $\alpha$ küçük bir sabittir. Bazı insanlar bu aktivasyon işleviyle başarıyı rapor eder, ancak sonuçlar her zaman tutarlı değildir. Negatif bölgedeki eğim, Karaning He ve diğ., 2015 tarafından Derinlemesine Redresörlerin Doldurulması bölümünde tanıtılan PReLU nöronlarında da görüldüğü gibi her nöronun bir parametresi haline getirilebilir . Bununla birlikte, görevler arasındaki faydaların tutarlılığı şu anda belirsiz.

Maxout . İşlevsel bir biçime sahip olmayan diğer tip üniteler önerilmiştir. $f(w^Tx + b)$ nokta ürününde, ağırlıklar ve veriler arasındaki doğrusal olmayan bir uygulamanın uygulandığı yer. Nispeten popüler seçeneklerden biri , ReLU ve sızdıran versiyonunu genelleyen Maxout nöronudur (yakın zamanda Goodfellow ve arkadaşları tarafından tanıtılmıştır ). Maxout nöron işlevi hesaplar $\max(w_1^Tx+b_1, w_2^Tx + b_2)$ . Hem ReLU'nun hem de Leaky ReLU'nun bu formun özel bir örneği olduğuna dikkat edin (örneğin; $w_1, b_1 = 0$ ). Bu nedenle, Maxout nöronu, bir ReLU ünitesinin (doğrusal çalışma rejimi, doygunluk yok) tüm faydalarından yararlanır ve dezavantajları yoktur (ölen ReLU). Bununla birlikte, ReLU nöronlarının aksine, her bir nöron için parametre sayısını iki katına çıkarır, bu da yüksek bir toplam parametre sayısına yol açar.

Bu, en yaygın nöron tipleri ve bunların aktivasyon fonksiyonları hakkındaki tartışmamıza varmaktadır. Son bir yorum olarak, bununla ilgili temel bir sorun olmasa da, aynı ağdaki farklı nöron türlerini karıştırmak ve eşleştirmek çok nadir görülür.

TLDR : " Hangi nöron tipini kullanmalıyım? " Bu sizi ilgilendiriyorsa, Leaky ReLU veya Maxout'u deneyin. Asla sigmoid kullanmayın. Tanh'ı deneyin, ancak ReLU / Maxout'tan daha kötü çalışmasını bekleyin.

Lisans:

MİT Lisansı (MIT)

Telif Hakkı (c) 2015 Andrej Karpathy

Bu yazılımın ve ilgili dokümantasyon dosyalarının ("Yazılım") bir kopyasını alan herhangi bir kişiye, Yazılım'da, kullanım, kopyalama, değiştirme, birleştirme haklarını sınırlama olmaksızın da dahil olmak üzere, herhangi bir kısıtlama olmaksızın kullanımına izin verilir. Yazılımın bir kopyasını yayınlamak, dağıtmak, alt lisans vermek ve / veya satmak ve Yazılımın bu belgeyi sağladığı kişilerin, aşağıdaki koşullara tabi olarak kullanımına izin vermek:

Yukarıdaki telif hakkı bildirimi ve bu izin bildirimi, Yazılımın tüm kopyalarına veya önemli bölümlerine dahil edilecektir.

YAZILIM, TİCARİ AMAÇ VE ZIMNİ GİDERME GARANTİSİNE SINIRLANMAMIŞTIR, HERHANGİ BİR TÜR, AÇIK VEYA UYGULANMASI GARANTİSİ YOKTUR. ETKİLİ OLMAYAN YETKİLİ VEYA TELİF SAHİPLİ TUTUCULAR, SÖZLEŞME, TORT VEYA DİĞER SORUMLULUK, YANLIŞTAN VEYA KULLANIM AŞINDAN DOĞRU, TORT VEYA DİĞER SORUMLULUKLARA KARŞI KABUL EDİLİR YAZILIM.*

Diğer bağlantılar:

tanh aktivasyon fonksiyonu vs sigmoid aktivasyon fonksiyonu

— Franck Dernoncourt
kaynak

Artıları ve eksileri olan bir liste olduğunu sanmıyorum. Aktivasyon fonksiyonları son derece uygulama bağlıdır ve onlar (sinirsel ağın mimarisi de bağlıdır burada sigmoid bir benzer iki SoftMax fonksiyonlarının uygulama görmek örneğin).

Fonksiyonların genel davranışı ile ilgili bazı çalışmalar bulabilirsiniz, ancak bence asla tanımlanmış ve kesin bir listeye sahip olamayacağınızı düşünüyorum.

Ben hala bir öğrenciyim, o yüzden şu ana kadar bildiklerime işaret ediyorum:

Burada tanh ve sigmoidlerin backpropagation davranışları hakkında bazı düşünceler bulacaksınız. Tanh daha genel, ancak sigmoidler ... (her zaman bir "ama" olacak)
Olarak derin Seyrek Doğrultucu sinir ağları Glorot Xavier et al, redresörden birimleri daha biyolojik olarak makul ve diğerlerinden daha iyi performans gösterdiğini belirtmek (sigmoid / tanh)

— marcodena
kaynak

Bu doğru cevap. Bir liste yapabilir, ancak artılar ve eksiler tamamen verilere bağlıdır. Aslında, öğrenme aktivasyon fonksiyonlarını teoride çok daha makul. Çok fazla araştırmaya odaklanmamasının nedeni sigmoidin "sadece işe yaraması". Sonunda, tek kazancınız, çoğu zaman önemsiz olan yakınsama hızıdır

— runDOSrun

Sadece Danielle’in büyük cevabında tamlık olması adına, rastgele birinin ağırlıkları ve / veya aktivasyon türlerine 'tekerleği' çevirdiği diğer paradigmalar var: sıvı durum makineleri , aşırı öğrenme makineleri ve eko durum ağları .

Bu mimarileri düşünmenin bir yolu: rezervuar, SVM'lerde olduğu gibi bir tür çekirdek veya basit bir FFNN'de verinin bazı hiper uzaya yansıtıldığı büyük bir gizli katmandır. Gerçek bir öğrenme yoktur, tatmin edici bir çözüme ulaşılana kadar rezervuar yeniden üretilir.

Ayrıca bu güzel cevabı gör .

— shuriken x mavi
kaynak

Son aktivasyon fonksiyonlarını inceleyen bir makalede bulunabilir.

Chigozie Enyinna Nwankpa, Winifred Ijomah, Anthony Gachagan ve Stephen Marshall " Etkinleştirme İşlevleri: Derin Öğrenme Uygulama ve Araştırmalarındaki Trendlerin Karşılaştırılması "

Derin sinir ağları bugüne kadar geliştirilen daha derin öğrenme (DL) mimarileri ile gerçek dünyadaki karmaşık sorunları çözmek için ortaya çıkan çeşitli alanlarda başarıyla kullanılmıştır. Bu son teknoloji performansları elde etmek için DL mimarileri, gizli katmanlar ve herhangi bir DL mimarisinin çıktı katmanları arasında farklı hesaplamalar yapmak için etkinleştirme işlevlerini (AF'ler) kullanır. Bu makale, derin öğrenme uygulamalarında kullanılan mevcut AF'ler hakkında bir anket sunar ve derin öğrenme uygulamaları için aktivasyon fonksiyonlarının kullanımındaki son eğilimleri vurgular. Bu yazının yenilikçiliği, DL'de kullanılan AF'lerin çoğunluğunu derlemesi ve bu fonksiyonların uygulamalarında ve son teknoloji araştırma sonuçlarına karşı pratik derin öğrenme dağıtımlarında kullanılmasındaki mevcut eğilimlerin ana hatlarını çizmesidir. Bu derleme, konuşlandırmaya hazır herhangi bir uygulama için en uygun ve uygun aktivasyon işlevinin seçiminde etkili kararlar alınmasına yardımcı olacaktır. Bu makale zamanındadır, çünkü AF ile ilgili çoğu araştırma makalesi benzer çalışmaları ve sonuçları vurgulamaktadır;

— Sycorax
kaynak