Sinir ağının (örneğin, evrişimli sinir ağı) negatif ağırlıkları olabilir mi?

13

Tüm aktivasyon katmanları için ReLU kullandığımızda, derin evrişimli sinir ağları için negatif ağırlıklara (yeterli dönemden sonra) sahip olmak mümkün müdür?

— RockTheStar
kaynak

Negatif olmamaları için hiçbir neden göremiyorum. Aklınızda bulunduğunuz belirli bir neden / gözlem var mı?

— Sobi

Sadece SGD sürecini hayal ediyorum ve negatif ağırlığın yaygın ve mümkün olup olmadığını düşünüyorum.

— RockTheStar

Bunu düşündü çünkü "ağırlık" sinapslara, nöronlar arasındaki bağlantılara benziyor, bu yüzden bir nörona doğru -2 sinaps nasıl olabilir? Google'da aynı şeyi aradıktan sonra burada tökezledim ... Sanırım yine de mümkün olabilir, sonunda eksik bir sinaps veya bağlantı ve b hesabından çıkarılan başka bir taraftan b'ye ulaşmak için "atlama" anlamına gelebilir, ama tam olarak emin değilim, sadece düşünerek

— deneyin

10

Doğrultulmuş Doğrusal Birimler (ReLU'lar) sadece nöronların çıktısını negatif olmamaktadır . Bununla birlikte, ağın parametreleri, eğitim verilerine bağlı olarak pozitif veya negatif olabilir ve olacaktır.

İşte bazı parametrelerin neden negatif olacağını (sezgisel olarak) haklı gösteren şu anda düşünebileceğim iki neden:

parametrelerin düzenlenmesi (diğer bir deyişle ağırlık azalması); parametre değerlerindeki değişiklik öngörmeyi mümkün kılar ve parametreler sıfıra ortalanmışsa (yani ortalamaları sıfıra yakınsa) normu (standart bir düzenleyicidir) düşüktür. $\ell 2$
bir katmanın katman parametrelerine göre çıkışının gradyanları, katmanın girdisine bağlıdır (her zaman önceki katmanın çıktılarını bir ReLU'dan geçirdiği varsayılarak her zaman pozitiftir), ancak hatanın gradyanı (gelen son çıktı katmanlarına daha yakın olan katmanlardan) pozitif veya negatif olabilir, bu da SGD'nin bir sonraki gradyan adımından sonra bazı parametre değerlerini negatif yapmasını mümkün kılar. Daha spesifik olarak, , ve sinir ağındaki bir katmanın girişini, çıkışını ve parametrelerini göstermesine izin verin . Ayrıca, bazı eğitim örneklerinin neden olduğu ağın son hatası olsun. İle ilgili hata gradyanı $I$ $O$ $w$ $E$ $w$ aşağıdaki gibi hesaplanır $\frac{\partial E}{\partial w} = \left( \sum_{k=1}^K\frac{\partial E}{\partial O_k} \right) \cdot \frac{\partial O_k}{\partial w}$ ; Not o (aşağıdaki resme bakın): $O_k = O, \forall k$

— SOBI
kaynak

1

Negatif olmayan optimal ağırlıklara sahip olduğunuzu düşünün.

$x'_i = -x_i$ $\{x'_i,y\}$

— nakajuice
kaynak

-3

Başka bir etkinleştirme işlevi kullanmadığınız sürece, örneğin Sızdıran ReLU. İlkinden sonra katmanların rektifiye ağırlıkları, eğitimde kaç döneme bakılmaksızın negatif değildir.

— pateheo
kaynak

1

Çok teşekkürler! Leaky ReLU'nun negatif ağırlığa nasıl yol açabileceği konusunda biraz daha detial açıklayabilir misiniz?

— RockTheStar

İddia doğru değil gibi görünüyor. ReLU aktifleştirilmiş ağ, afin dönüşüm ("Ws") ve bu soruda ağırlıklar olarak hakem olduğunu düşündüğüm ofsetleri ("b") matrisler negatif değerler olsun eğitim çalıştım.

— Onları