ReLU aktivasyon fonksiyonunun türevi nedir?

Aşağıdaki gibi tanımlanan ReLU aktivasyon fonksiyonunun türevi nedir:

R, e L U (x) = m bir x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

fonksiyonunda süreksizliğin olduğu özel durum ne olacak ? $x=0$

self-study neural-networks

— Tom Hale
kaynak

Türev:

f (x) = {\begin{cases} 0 & Eğer x < 0 \\ 1 & Eğer x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

Ve tanımsız . $x=0$

tanımsız olmasının nedeni , sol ve sağ türevlerinin eşit olmamasıdır. $x=0$

— Jim
kaynak

0

$0$

1

$1$

x = 0

$x=0$

Kural şu ki drdx = 1 (x> 0)

— neuroguy123 14:18

@TomHale neden kullanmıyorsunuz

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

Bu arada @TomHale en Nouroz Rahman'ın cevaba bakınız quora.com/... : "[...] yerleşik Bana göre, kütüphane fonksiyonları (örneğin: tf.nn.relu()) en türevi = 0 sparser sağlamak için sıfır alınır x matris ... "

— Jim