«activation-function» etiketlenmiş sorular

Aktivasyon fonksiyonları, tipin doğrusal çıktısında doğrusal olmayanları tanıtmak için kullanılır w * x + b bir nöral ağdaki . Hangi sigmoid gibi aktivasyon fonksiyonları için sezgisel olarak anlayabiliyorum. Backpropagation sırasında ölü nöronlardan kaçınan ReLU'nun avantajlarını anlıyorum. Ancak, çıktı doğrusal ise ReLU'nun aktivasyon fonksiyonu olarak neden kullanıldığını anlayamıyorum? Eğer doğrusallık getirmezse, …

21 machine-learning  neural-network  deep-learning  activation-function 

Ben geçiyordu Bert kağıt kullanan Gelu (Gauss hata Doğrusal Birimi) olarak denklemi devletler bu daGELU(x)=xP(X≤x)=xΦ(x).G,ELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tbirnh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Denklemi basitleştirebilir ve nasıl yaklaştığını açıklayabilir misiniz?

18 activation-function  bert  mathematics 

Burada cevap, benzer sigmoidaktivasyon fonksiyonları olan ama sanırım Relubir dezavantaja sahip olan ve beklenen değeri olan yok olan ve patlayan gradyanları ifade eder . çıkışı için bir sınırlama yoktur Reluve bu nedenle beklenen değeri sıfır değildir. Popülerlik önce hatırlıyorum Reluo tanhmakine ziyade uzmanlar öğrenme arasında en popüler oldu sigmoid. Bunun …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Sinir ağları için aktivasyon fonksiyon tiplerini inceledim. İşlevlerin kendileri oldukça basittir, ancak uygulama farkı tamamen açık değildir. İstenen ikili / sürekli çıkışa bağlı olarak mantıksal ve doğrusal tip fonksiyonları birbirinden ayırmak makul ancak sigmoid fonksiyonun basit doğrusal fonksiyona göre avantajı nedir? ReLU'nun benim için özellikle anlaşılması zordur, örneğin: pozitif girdiler …

15 neural-network  activation-function