Doğrultulmuş lineer birimler neden doğrusal değildir?

Doğrultulmuş doğrusal birimlerin (ReLU) aktivasyon fonksiyonları neden doğrusal değildir?

f (x) = max (0, x)

$f(x) = \max(0,x)$

Girdi pozitif olduğunda doğrusaldırlar ve derin ağların temsili gücünü açmak benim anlayışımdan doğrusal olmayan aktivasyonlar bir zorunluluktur, aksi takdirde tüm ağ tek bir katmanla temsil edilebilir.

neural-networks deep-learning

— Aly
kaynak

Daha önce sorulan benzer bir soru var: stats.stackexchange.com/questions/275358/… , muhtemelen bir kopyası olmasa da

— Aksakal

RELU'lar doğrusal değildir. Sezginize yardımcı olmak için 1 giriş birimi , 2 gizli birim ve 1 çıkış birimi olan çok basit bir ağı göz önünde bulundurun . Bu basit ağ ile mutlak bir değer işlevi uygulayabiliriz, $x$ $y_i$ $z$

z = max (0, x) + max (0, - x),

$z = \max(0, x) + \max(0, -x),$

veya sık kullanılan sigmoid fonksiyonuna benzeyen bir şey,

z = max (0, x + 1) - max (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

Bunları daha büyük ağlarda birleştirerek / daha gizli üniteler kullanarak, isteğe bağlı fonksiyonları yaklaşık olarak görebiliriz.

$\hskip2in$ RELU ağ işlevi

— Lucas
kaynak

Bu el yapımı ReLus tipleri apriori olarak inşa edilebilir mi ve katman olarak kodlanmış mıydı? Öyleyse, ağınızın özellikle bu özel olarak inşa edilmiş ReLus'lardan birini gerektirdiğini nasıl bilebilirsin?

— Monica Heddneck 16:16

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

e^{x}

$e^x$

@Lucas, Yani temelde (+)> 1 ReLU'ları birleştirirsek herhangi bir işlevi tahmin edebiliriz, ancak basitçe reLu(reLu(....))her zaman doğrusal olacak mıyız ? Ayrıca, burada değiştirmek xiçin x+1olduğu düşünülebilir ki, Z=Wx+bW & B bu tür farklı türevlerini vermek değiştirir nerede x& x+1?

— anu