Derin Sinir Ağı - ReLU ile Geriye İtiraz


17

ReLU ile geri yayılımı elde etmekte biraz zorlanıyorum ve biraz iş yaptım, ancak doğru yolda olup olmadığımdan emin değilim.

Maliyet Fonksiyonu: ygerçek değeri ve y tahmin edilen bir değerdir. Ayrıcadaimax> 0olduğunu varsayın.12(yy^)2yy^x


1 Kat ReLU, burada 1. kat ağırlığı w1

resim açıklamasını buraya girin

dCdw1=dCdRdRdw1

dCw1=(yReLU(w1x))(x)


2 kat ReLU, burada 1. kattaki ağırlıklar w2 , 2. kat w1 ve 1. kat w 2'yi güncellemek istedimw2

resim açıklamasını buraya girin

dCdw2=dCdRdRdw2

dCw2=(yReLU(w1ReLU(w2x))(w1x)

Yana ReLU(w1ReLU(w2x))=w1w2x


1. kattaki ağırlıkların , 2. kat w 2 ve 3. kat w 1 olduğu 3 Katman ReLUw3w2w1

resim açıklamasını buraya girin

dCdw3=dCdRdRdw3

dCw3=(yReLU(w1ReLU(w2(ReLU(w3)))(w1w2x)

Yana ReLU(w1ReLU(w2(ReLU(w3))=w1w2w3x

Zincir kuralı, katman kadar uzun olabilen bir sigmoid ile karşılaştırıldığında sadece 2 türev ile sürdüğü için .n


Diyelim ki 3. kat, w 2 2. kat, w 1 3. katw1w2w1

dCw1=(yReLU(w1x))(x)

dCw2=(yReLU(w1ReLU(w2x))(w1x)

dCw3=(yReLU(w1ReLU(w2(ReLU(w3)))(w1w2x)

Bu türetme doğruysa, bu yok olmayı nasıl önler? Denklemde çok fazla 0.25 ile çarptığımız sigmoid ile karşılaştırıldığında, ReLU'nun sabit değer çarpımı yoktur. Binlerce katman varsa, ağırlıklar nedeniyle çok fazla çarpma olur, o zaman bu kaybolmaya veya patlamaya neden olmaz mı?


@NeilSlater Cevabınız için teşekkürler! Ayrıntılı anlatabilir misiniz, ne demek istediğinizden emin değil misiniz?
user1157751

Ah, ne demek istediğini biliyorum. Peki, bu soruyu gündeme getirmemin sebebi, türetmenin doğru olduğundan emin miyim? Etrafı araştırdım ve tamamen sıfırdan türeyen bir ReLU örneği bulamadım?
user1157751

Yanıtlar:


15

ReLU fonksiyonunun ve türevinin çalışma tanımları:

ReLU(x)={0,if x<0,x,otherwise.

ddxReLU(x)={0,if x<0,1,otherwise.

Türev, birim adım fonksiyonudur . Bu bir sorunu görmezden yapar x=0 gradyan kesinlikle tanımlı değil, ama bu sinir ağları için pratik bir konu değildir. Yukarıdaki formülde, 0'daki türev 1'dir, ancak nöral ağ performansı üzerinde gerçek bir etkisi olmadan 0 veya 0,5 olarak eşit olarak tedavi edebilirsiniz.


Basitleştirilmiş ağ

Bu tanımlarla, örnek ağlarınıza bir göz atalım.

Regresyonu C = 1 maliyet fonksiyonu ile çalıştırıyorsunuzC=12(yy^)2. Ryapay nöronun çıkışı olaraktanımladınız, ancak bir giriş değeri tanımlamıyorsunuz. Bunu tamlık için ekleyeceğim - bunazdiyelim, katmana göre bazı indeksleme ekleyeceğim ve vektörler için küçük harf ve matrisler için büyük harf tercih ediyorum, bu yüzdenilk katmanınr(1)çıkışı,onun içinz(1)giriş venöronu girişx'ebağlayan ağırlık içinW(0)(daha büyük bir ağda, daha derin birrxrdeğeri). Ayrıca ağırlık matrisi için dizin numarasını ayarladım - bu daha büyük ağ için neden daha net olacak. Not Şimdilik her katmanda nörondan daha fazlasına sahip olduğunu görmezden geliyorum.

Basit 1 katmanınıza, 1 nöron ağınıza bakarak, ileri besleme denklemleri şunlardır:

z(1)=W(0)x

y^=r(1)=ReLU(z(1))

Örnek bir tahminle maliyet fonksiyonunun türevi:

Cy^=Cr(1)=r(1)12(yr(1))2=12r(1)(y22yr(1)+(r(1))2)=r(1)y

z

Cz(1)=Cr(1)r(1)z(1)=(r(1)y)Step(z(1))=(ReLU(z(1))y)Step(z(1))

This Cz(1) is an interim stage and critical part of backprop linking steps together. Derivations often skip this part because clever combinations of cost function and output layer mean that it is simplified. Here it is not.

To get the gradient with respect to the weight W(0), then it is another iteration of the chain rule:

CW(0)=Cz(1)z(1)W(0)=(ReLU(z(1))y)Step(z(1))x=(ReLU(W(0)x)y)Step(W(0)x)x

. . . because z(1)=W(0)x therefore z(1)W(0)=x

That is the full solution for your simplest network.

However, in a layered network, you also need to carry the same logic down to the next layer. Also, you typically have more than one neuron in a layer.


More general ReLU network

If we add in more generic terms, then we can work with two arbitrary layers. Call them Layer (k) indexed by i, and Layer (k+1) indexed by j. The weights are now a matrix. So our feed-forward equations look like this:

zj(k+1)=iWij(k)ri(k)

rj(k+1)=ReLU(zj(k+1))

In the output layer, then the initial gradient w.r.t. rjoutput is still rjoutputyj. However, ignore that for now, and look at the generic way to back propagate, assuming we have already found Crj(k+1) - just note that this is ultimately where we get the output cost function gradients from. Then there are 3 equations we can write out following the chain rule:

First we need to get to the neuron input before applying ReLU:

  1. Czj(k+1)=Crj(k+1)rj(k+1)zj(k+1)=Crj(k+1)Step(zj(k+1))

We also need to propagate the gradient to previous layers, which involves summing up all connected influences to each neuron:

  1. Cri(k)=jCzj(k+1)zj(k+1)ri(k)=jCzj(k+1)Wij(k)

And we need to connect this to the weights matrix in order to make adjustments later:

  1. CWij(k)=Czj(k+1)zj(k+1)Wij(k)=Czj(k+1)ri(k)

You can resolve these further (by substituting in previous values), or combine them (often steps 1 and 2 are combined to relate pre-transform gradients layer by layer). However the above is the most general form. You can also substitute the Step(zj(k+1)) in equation 1 for whatever the derivative function is of your current activation function - this is the only place where it affects the calculations.


Back to your questions:

If this derivation is correct, how does this prevent vanishing?

Your derivation was not correct. However, that does not completely address your concerns.

The difference between using sigmoid versus ReLU is just in the step function compared to e.g. sigmoid's y(1y), applied once per layer. As you can see from the generic layer-by-layer equations above, the gradient of the transfer function appears in one place only. The sigmoid's best case derivative adds a factor of 0.25 (when x=0,y=0.5), and it gets worse than that and saturates quickly to near zero derivative away from x=0. The ReLU's gradient is either 0 or 1, and in a healthy network will be 1 often enough to have less gradient loss during backpropagation. This is not guaranteed, but experiments show that ReLU has good performance in deep networks.

If there's thousands of layers, there would be a lot of multiplication due to weights, then wouldn't this cause vanishing or exploding gradient?

Yes this can have an impact too. This can be a problem regardless of transfer function choice. In some combinations, ReLU may help keep exploding gradients under control too, because it does not saturate (so large weight norms will tend to be poor direct solutions and an optimiser is unlikely to move towards them). However, this is not guaranteed.


Was a chain rule performed on dCdy^?
user1157751

@user1157751: No, Cy^=Cr(1) because y^=r(1). The cost function C is simple enough that you can take its derivative immediately. The only thing I haven't shown there is the expansion of the square - would you like me to add it?
Neil Slater

But C is 12(yy^)2, don't we need to perform chain rule so that we can perform the derivative on y^? dCdy^=dCdUdUdy^, where U=yy^. Apologize for asking really simple questions, my maths ability is probably causing trouble for you : (
user1157751

If you can make things simpler by expanding. Then please do expand the square.
user1157751

@user1157751: Yes you could use the chain rule in that way, and it would give the same answer as I show. I just expanded the square - I'll show it.
Neil Slater
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.