LeakyReLU ve PReLU arasındaki fark nedir?

Hem PReLU hem de Leaky ReLU'nun olduğunu düşündüm.

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Keras, ancak, dokümanlar her iki işlevi vardır .

Sızdıran ReLU

LeakyReLU'nun Kaynağı :

return K.relu(inputs, alpha=self.alpha)

Dolayısıyla ( relu koduna bakınız )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

PReLU'nun Kaynağı :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Bu nedenle

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Soru

Yanlış bir şey mi buldum? Değildir ve eşdeğer (varsayarak ?) $f_1$ $f_2$ $f$ $\alpha \in (0, 1)$

neural-network

— Martin Thoma
kaynak

Düz dan wikipedia :

Sızdıran ReLU ler, ünite aktif olmadığında küçük, sıfır olmayan bir degrade sağlar.
Parametrik ReLU s, diğer sinir ağı parametreleri ile birlikte öğrenilen bir parametreye sızıntı katsayısını yaparak bu fikri daha da ileri götürmektedir.

— Thomas W
kaynak

Ah, teşekkürler, her zaman unutuyorum ki Leaky ReLU'ların bir hiperparametre olarak ve Parametrik ReLU'ların bir parametre olarak .

α

$\alpha$

α

$\alpha$

— Martin Thoma

Google-şey için: Sorun değil . (Btw, benim için bu soru şimdi "Leaky ReLU vs PReLU" için üçüncü sonuç)

— Martin Thoma

@ MartinThoma doğru! Bunun için hiçbir suçu! Cevabı bulma şeklim de oldukça aptalcaydı; PReLU’da “P” nin ne olduğunu bilmiyordum, bu yüzden bunu anladım ve PRELU’nun ne olduğunu anlamaya çalıştım, sadece beni Wikipedia sayfasını belirleyen “Parametrik ReLU” yazarak. Sorunuz nedeniyle güne bir şeyler öğrendim;)

— Thomas W

Güzel. Bu şekilde olması gerektiği gibi :-) Bu durumda , küçük aktivasyon fonksiyonuma genel bakışım sizin için de ilginç olabilir. Makale (kısmen) Almancadır, ancak bu kısım için farketmemesi gerektiğini düşünüyorum

— Martin Thoma