Aşağıdaki CNN var:

1. 5x5 büyüklüğünde bir giriş görüntüsü ile başlıyorum
2. Sonra 4x2 boyutunda özellik haritası üreten 2x2 çekirdeği ve adım = 1 kullanarak evrişim uyguluyorum.
3. Sonra özellik haritasını 2x2 boyutuna küçülten stride = 2 ile 2x2 max-pooling uygularım.
4. Sonra lojistik sigmoid uyguluyorum.
5. Sonra 2 nöron ile tamamen bağlı bir katman.
6. Ve bir çıktı katmanı.

Basitlik adına, ileri geçişi zaten tamamladığımı ve δH1 = 0.25 ve δH2 = -0.15 hesapladığımı varsayalım.

Böylece, tam ileri geçiş ve kısmen geri geçişten sonra ağım şöyle görünür:

Sonra doğrusal olmayan katman (lojistik sigmoid) için deltaları hesaplıyorum:

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

Daha sonra, deltaları 4x4 katmanına yayarım ve maksimum havuzlama ile filtrelenen tüm değerleri 0'a ayarlayın ve degrade haritası şöyle görünür:

Oradan çekirdek ağırlıklarını nasıl güncelleyebilirim? Ağımın 5x5'ten önce başka bir evrişim katmanı varsa, çekirdek ağırlıklarını güncellemek için hangi değerleri kullanmalıyım? Genel olarak, hesaplamam doğru mu?

Bir evrişim, matematiği önemli ölçüde zorlaştıracak ancak yabani otlardan geçmeye çalışacak bir ağırlık paylaşım prensibi kullanır. Açıklamamın çoğunu bu kaynaktan çekiyorum .

---

Doğrudan geçiş

Gördüğünüz gibi evrişimsel katın ileri geçişi şu şekilde ifade edilebilir:

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

$k_1$$k_2$$k_1=k_2=2$$x_{0,0} = 0.25$$m$$n$

Backpropagation

Olarak tanımlanan ortalama kare hatası (MSE) kullandığınızı varsayarsak

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$

belirlemek istiyoruz

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

Bu, tüm çıktı alanı boyunca yinelenir, çıktının katkıda bulunduğu hatayı belirler ve sonra bu çıktıya göre çekirdek ağırlığının katkı faktörünü belirler.

Basitlik ve geri çoğaltılan hatayı takip etmek için çıktı alanı deltasındaki hataya katkıyı çağıralım,

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

Ağırlıkların katkısı

Evrişim şu şekilde tanımlanır:

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

Böylece,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

Sonra hata terimimize geri dönelim

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

Stokastik eğim inişi

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

Bazılarını hesaplayalım

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

dizi ([[0.044606, 0.094061], [0.011262, 0.068288]])

Şimdi bunu yerine SGD denklemine koyabilirsiniz.$\frac{\partial E}{\partial w}$

---

Türevde hatalar olup olmadığını lütfen bize bildirin.

---

Güncelleme: Düzeltilmiş kod