LeakyReLU ve PReLU arasındaki fark nedir?


42

Hem PReLU hem de Leaky ReLU'nun olduğunu düşündüm.

f(x)=max(x,αx) with α(0,1)

Keras, ancak, dokümanlar her iki işlevi vardır .

Sızdıran ReLU

LeakyReLU'nun Kaynağı :

return K.relu(inputs, alpha=self.alpha)

Dolayısıyla ( relu koduna bakınız )

f1(x)=max(0,x)αmax(0,x)

PReLU

PReLU'nun Kaynağı :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Bu nedenle

f2(x)=max(0,x)αmax(0,x)

Soru

Yanlış bir şey mi buldum? Değildir ve eşdeğer (varsayarak ?)f1f2fα(0,1)

Yanıtlar:


50

Düz dan wikipedia :

görüntü tanımını buraya girin

  • Sızdıran ReLU ler, ünite aktif olmadığında küçük, sıfır olmayan bir degrade sağlar.

  • Parametrik ReLU s, diğer sinir ağı parametreleri ile birlikte öğrenilen bir parametreye sızıntı katsayısını yaparak bu fikri daha da ileri götürmektedir.


3
Ah, teşekkürler, her zaman unutuyorum ki Leaky ReLU'ların bir hiperparametre olarak ve Parametrik ReLU'ların bir parametre olarak . αα
Martin Thoma

1
Google-şey için: Sorun değil . (Btw, benim için bu soru şimdi "Leaky ReLU vs PReLU" için üçüncü sonuç)
Martin Thoma

3
@ MartinThoma doğru! Bunun için hiçbir suçu! Cevabı bulma şeklim de oldukça aptalcaydı; PReLU’da “P” nin ne olduğunu bilmiyordum, bu yüzden bunu anladım ve PRELU’nun ne olduğunu anlamaya çalıştım, sadece beni Wikipedia sayfasını belirleyen “Parametrik ReLU” yazarak. Sorunuz nedeniyle güne bir şeyler öğrendim;)
Thomas W

1
Güzel. Bu şekilde olması gerektiği gibi :-) Bu durumda , küçük aktivasyon fonksiyonuma genel bakışım sizin için de ilginç olabilir. Makale (kısmen) Almancadır, ancak bu kısım için farketmemesi gerektiğini düşünüyorum
Martin Thoma
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.