Sinir ağlarında sigmoid fonksiyonun türevinin rolünü anlamaya çalışıyorum.

İlk önce sigmoid fonksiyonunu ve python kullanarak tanımdan tüm noktaların türevini çiziyorum. Bu türevin rolü tam olarak nedir?

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def derivative(x, step):
    return (sigmoid(x+step) - sigmoid(x)) / step

x = np.linspace(-10, 10, 1000)

y1 = sigmoid(x)
y2 = derivative(x, 0.0000000000001)

plt.plot(x, y1, label='sigmoid')
plt.plot(x, y2, label='derivative')
plt.legend(loc='upper left')
plt.show()

Sinir ağlarında türev kullanımı backpropagation adı verilen eğitim süreci içindir . Bu teknik, bir kayıp fonksiyonunu en aza indirgemek için en uygun model parametreleri kümesini bulmak için gradyan inişini kullanır . Örneğinizde, bir sigmoid türevini kullanmalısınız çünkü bu, bireysel nöronlarınızın kullandığı aktivasyondur.

Kayıp fonksiyonu

Makine öğrenmesinin özü, bir maliyet işlevini, bazı hedef işlevleri en aza indirgeyebileceğimiz veya en üst düzeye çıkarabileceğimiz şekilde optimize etmektir. Buna tipik olarak kayıp veya maliyet fonksiyonu denir. Genellikle bu işlevi en aza indirmek istiyoruz. Maliyet fonksiyonu, $C$ , modeli model parametrelerinin bir fonksiyonu olarak modelinizden veri aktarırken ortaya çıkan hatalara dayalı olarak bir miktar ceza ilişkilendirir.

Bir görüntünün kedi mi yoksa köpek mi içerdiğini etiketlemeye çalıştığımız örneğe bakalım. Mükemmel bir modelimiz varsa, modele bir resim verebiliriz ve bize bir kedi mi yoksa köpek mi olduğunu söyleyecektir. Ancak, hiçbir model mükemmel değildir ve hatalar yapacaktır.

Modelimizi girdi verilerinden anlam çıkarabilmek için eğittiğimizde yaptığı hata miktarını en aza indirmek istiyoruz. Bu yüzden bir eğitim seti kullanıyoruz, bu veriler birçok köpek ve kedi resmi içeriyor ve bu görüntü ile ilişkili temel doğruluk etiketine sahibiz. Modelin eğitim yinelemesini her çalıştırdığımızda, modelin maliyetini (hata miktarını) hesaplıyoruz. Bu maliyeti en aza indirmek isteyeceğiz.

Her biri kendi amacına hizmet eden birçok maliyet fonksiyonu mevcuttur. Kullanılan ortak maliyet fonksiyonu, ikinci dereceden maliyet olarak tanımlanır.

$C = \frac{1}{N} \sum_{i=0}^{N}(\hat{y} - y)^2$ .

Bu, N için öngörülen etiket ile temel doğruluk etiketi arasındaki farkın karesidir$N$ üzerinde eğitim aldığımız görüntüleri . Bunu bir şekilde en aza indirmek isteyeceğiz.

Kayıp fonksiyonunu en aza indirme

Gerçekten de makine öğreniminin çoğu, bazı maliyet fonksiyonlarını en aza indirerek bir dağılımı belirleyebilen bir çerçeve ailesidir. Sorabileceğimiz soru "bir işlevi nasıl en aza indirebiliriz?"

Aşağıdaki işlevi en aza indirelim

$y = x^2-4x+6$ .

Bunu çizersek, bir minimum olduğunu görebiliriz . Bunu analitik olarak yapmak için, bu fonksiyonun türevini şu şekilde alabiliriz:$x = 2$

$\frac{dy}{dx} = 2x - 4 = 0$

.$x = 2$

Bununla birlikte, çoğu kez analitik olarak küresel bir minimum bulmak bazen mümkün değildir. Bunun yerine bazı optimizasyon teknikleri kullanıyoruz. Burada pek çok farklı yol vardır: Newton-Raphson, grid arama, vb. Bunların arasında gradyan kökenli . Sinir ağları tarafından kullanılan teknik budur.

Dereceli alçalma

Bunu anlamak için ünlü kullanılan bir benzetme kullanalım. 2D minimizasyon problemi düşünün. Bu, vahşi doğada dağlık bir yürüyüşe çıkmaya eşdeğerdir. En alt noktada olduğunu bildiğiniz köye geri dönmek istiyorsunuz. Köyün ana yönlerini bilmeseniz bile. Yapmanız gereken tek şey sürekli en dik yolu aşağı çekmek ve sonunda köye gideceksiniz. Böylece eğimin dikliğine dayanarak yüzeye ineceğiz.

Hadi fonksiyonumuzu alalım

$y = x^2-4x+6$

Biz belirleyecektir olan y en aza indirilir. Degrade iniş algoritması önce x için rastgele bir değer seçeceğimizi söylüyor$x$$y$$x$ . başlayalım . Ardından algoritma, yakınsamaya ulaşıncaya kadar aşağıdakileri yinelemeli olarak yapacaktır.$x=8$

$x^{new} = x^{old} - \nu \frac{dy}{dx}$

nerede öğrenme hızı, biz istediğimiz ne olursa olsun değer için bu ayarlayabilirsiniz. Ancak bunu seçmenin akıllı bir yolu var. Çok büyük ve minimum değere asla ulaşamayacağız ve çok büyük, oraya varmadan önce soooo'yu çok zaman harcayacağız. Dik yokuştan aşağı çekmek istediğiniz adımların boyutuna benzer. Küçük adımlar ve dağda öleceksin, asla inmeyeceksin. Çok büyük bir adım ve köy vurmak ve dağın diğer tarafında sona erme riski. Türev, bu eğimden en aza indirdiğimiz araçlardır.$\nu$

$\frac{dy}{dx} = 2x - 4$

$\nu = 0.1$

Yineleme 1:

x n e w = 6.8 - 0.1 ( 2 ∗ 6.8 - 4 ) = 5.84 x n e w = 5.84 - 0.1 ( 2 ∗ 5.84 - 4 ) = 5,07 x n e $x^{new} = 8 - 0.1(2 * 8 - 4) = 6.8$
$x^{new} = 6.8 - 0.1(2 * 6.8 - 4) = 5.84$
$x^{new} = 5.84 - 0.1(2 * 5.84 - 4) = 5.07$
x n e w = 4.45 - 0.1 ( 2 ∗ 4.45 - 4 ) = 3.96 x n e w = 3.96 - 0.1 ( 2 ∗ 3.96 - 4 ) = 3.57 x n e w = 3.57 - 0.1 ( 2 ∗ 3.57 - 4 $x^{new} = 5.07 - 0.1(2 * 5.07 - 4) = 4.45$
$x^{new} = 4.45 - 0.1(2 * 4.45 - 4) = 3.96$
$x^{new} = 3.96 - 0.1(2 * 3.96 - 4) = 3.57$
$x^{new} = 3.57 - 0.1(2 * 3.57 - 4) = 3.25$
x n e w = 3.00 - 0.1 ( 2 ∗ 3.00 - 4 ) = 2.80 x n e w = 2.80 - 0.1 ( 2 ∗ 2.80 - 4 ) = 2,64 x n e $x^{new} = 3.25 - 0.1(2 * 3.25 - 4) = 3.00$
$x^{new} = 3.00 - 0.1(2 * 3.00 - 4) = 2.80$
$x^{new} = 2.80 - 0.1(2 * 2.80 - 4) = 2.64$
x n e w = 2,51 - 0,1 ( 2 ∗ 2,51 - 4 ) = 2,41 x n e w = 2,41 - 0,1 ( 2 ∗ 2,41 - 4 ) = 2,32 x n e w = 2,32 - 0,1 ( 2 ∗ $x^{new} = 2.64 - 0.1(2 * 2.64 - 4) = 2.51$
$x^{new} = 2.51 - 0.1(2 * 2.51 - 4) = 2.41$
$x^{new} = 2.41 - 0.1(2 * 2.41 - 4) = 2.32$
x n e w = 2.26 - 0.1 ( 2 ∗ 2.26 - 4 ) = 2.21 x n e w = 2.21 - 0.1 ( 2 ∗ 2.21 - 4 ) = 2.16 x n e w = 2.16 - 0.1 ( 2 ∗ olduğu 2.16 - 4 ) = 2.13 x $x^{new} = 2.32 - 0.1(2 * 2.32 - 4) = 2.26$
$x^{new} = 2.26 - 0.1(2 * 2.26 - 4) = 2.21$
$x^{new} = 2.21 - 0.1(2 * 2.21 - 4) = 2.16$
$x^{new} = 2.16 - 0.1(2 * 2.16 - 4) = 2.13$
x n e w = 2.10 - 0.1 ( 2 ∗ 2.10 - 4 ) = 2.08 x n e w = 2.08 - 0.1 ( 2 ∗ 2.08 - 4 ) = 2.06 x n e w = 2.06 - $x^{new} = 2.13 - 0.1(2 * 2.13 - 4) = 2.10$
$x^{new} = 2.10 - 0.1(2 * 2.10 - 4) = 2.08$
$x^{new} = 2.08 - 0.1(2 * 2.08 - 4) = 2.06$
x n e w = 2.05 - 0.1 ( 2 ∗ 2.05 - 4 ) = 2.04 x n e w = 2.04 - 0.1 ( 2 ∗ 2.04 - 4 ) = 2.03 x n e w = 2.03 - 0.1 ( 2 ∗ 2,03 - 4 ) $x^{new} = 2.06 - 0.1(2 * 2.06 - 4) = 2.05$
$x^{new} = 2.05 - 0.1(2 * 2.05 - 4) = 2.04$
$x^{new} = 2.04 - 0.1(2 * 2.04 - 4) = 2.03$
x n e w = 2,02 - 0,1 ( 2 ∗ 2,02 - 4 ) = 2,02 x n e w = 2,02 - 0,1 ( 2 ∗ 2,02 - 4 ) = 2,01 x n e w = 2,01 - 0,1 ( 2 ∗ 2,01 - 4 ) = 2,01 x n e w = $x^{new} = 2.03 - 0.1(2 * 2.03 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
x n e w = 2.01 - 0.1 ( 2 ∗ 2.01 - 4 ) = 2.00 x n e w = 2.00 - 0.1 ( 2 ∗ 2.00 - 4 ) = 2,00 x n $x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
x n e 2.00-0.1(2∗2.00-4)=2.00 x n e w =2.00-0.1(2∗2.00-4)=$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$

Ve algoritmanın x = 2'de yakınsadığını görüyoruz$x = 2$ ! Minimum değeri bulduk.

Sinir ağlarına uygulanır

İlk sinir ağları, sadece bazı girdilerin aldı tek nöron vardı ve daha sonra bir çıkış temin $x$$\hat{y}$ . Kullanılan ortak bir işlev sigmoid işlevidir

$\sigma(z) = \frac{1}{1+exp(z)}$

$\hat{y}(w^Tx) = \frac{1}{1+exp(w^Tx + b)}$

burada , her bir x girişi için ilişkili ağırlıktır ve bir $w$$x$$b$ . Daha sonra maliyet fonksiyonumuzu en aza indirmek istiyoruz

$C = \frac{1}{2N} \sum_{i=0}^{N}(\hat{y} - y)^2$ .

Sinir ağı nasıl eğitilir?

$C$$N$

$C = \frac{1}{2N} \sum_i^N (\hat{y} - y)^2$

$\hat{y}$$y$$w$

$\frac{\partial C}{\partial w} = \frac{\partial C}{\partial \hat{y}} \frac{\partial \hat{y}}{\partial w}$

$\frac{\partial C}{\partial \hat{y}} = \hat{y} - y$

$\hat{y} = \sigma(w^Tx)$$\frac{\partial \sigma(z)}{\partial z} = \sigma(z)(1-\sigma(z))$

$\frac{\partial \hat{y}}{\partial w} = \frac{1}{1+exp(w^Tx + b)} (1 - \frac{1}{1+exp(w^Tx + b)})$

Böylece ağırlıkları degrade iniş ile güncelleyebiliriz.

$w^{new} = w^{old} - \eta \frac{\partial C}{\partial w}$

$\eta$

Sinir ağının tahminini oluşturduğu aşamada, girişi ağ üzerinden ileriye doğru besler. Her katman için, katmanın girdisi$X$ önce afin bir dönüşümden geçer $W \cdot X + b$ ve sonra sigmoid fonksiyonundan geçer $σ(W \cdot X + b)$.

Ağı eğitmek için çıktı $\hat y$ daha sonra beklenen çıktıyla (veya etiketle) karşılaştırılır $y$Bir aracılığıyla maliyet fonksiyonu $L(y, \hat y)=L\left(y, σ(W \cdot X + b)\right)$. The goal of the whole training procedure is to minimize that cost function. In order to do that, a technique called gradient descent is performed which calculates how we should change $W$ and $b$ so that the cost reduces.

Gradient Descent requires calculating the derivative of the cost function w.r.t $W$ and $b$. In order to do that we must apply the chain rule, because the derivative we need to calculate is a composition of two functions. As dictated by the chain rule we must calculate the derivative of the sigmoid function.

One of the reasons that the sigmoid function is popular with neural networks, is because its derivative is easy to compute.

In simple words:

Derivative shows neuron's ability to learn on particular input.

For example if input is 0 or 1 or -2, the derivative (the "learning ability") is high and back-propagation will improve neuron's weights for this sample dramatically.

On other hand, if input is 20, the the derivative will be very close to 0. It means that back-propagation on this sample will not "teach" this neuron to produce a better result.

The things above are valid for a single sample.

Let's look at the bigger picture, for all samples in the training set. Here we have several situations:

• If derivative is 0 for all samples in your training set AND neuron always produces wrong results - it means the neuron is saturated (dumb) and will not improve.

• If derivative is 0 for all samples in your training set AND neuron always produces correct results - it means the neuron have been studying really well and already as smart as it could (side note: this case is good but it may indicate potential overfitting, which is not good)

• If derivative is 0 on some samples, non-0 on other samples AND neuron produces mixed results - it indicates that this neuron doing some good work and potentially may improve from further training (though not necessarily as it depends on other neurons and training data you have)

So, when you are looking at the derivative plot, you can see how much the neuron prepared to learn and absorb the new knowledge, given a particular input.

The derivative you see here is important in neural networks. It's the reason why people generally prefer something else such as rectified linear unit.

Do you see the derivative drop for the two ends? What if your network is on the very left side, but it needs to move to the right side? Imagine you're on -10.0 but you want 10.0. The gradient will be too small for your network to converge quickly. We don't want to wait, we want quicker convergence. RLU doesn't have this problem.

We call this problem "Neural Network Saturation".

Please see https://www.quora.com/What-is-special-about-rectifier-neural-units-used-in-NN-learning