Önceki Evrişimsel Katmanın delta terimleri ve ağırlıkları göz önüne alındığında, bir Evrişimsel Katmanın delta terimini nasıl hesaplayabilirim?

İki kıvrımlı katman (c1, c2) ve iki gizli katman (c1, c2) ile yapay bir sinir ağı eğitmeye çalışıyorum. Standart backpropagation yaklaşımını kullanıyorum. Geriye doğru geçişte, bir katmanın (delta) hata terimini bir önceki katmanın hatasına, bir önceki katmanın ağırlıklarına ve aktif katmanın geçerli katmanın aktivasyon fonksiyonuna göre gradyanına göre hesaplarım. Daha spesifik olarak, l tabakasının deltası şöyle görünür:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Normal bir katmana bağlanan c2 eğimini hesaplayabiliyorum. H1'in ağırlıklarını delta ile çarpıyorum. Sonra bu matrisi c2 çıktısı biçiminde yeniden şekillendiririm, aktivasyon fonksiyonunun gradyanı ile çarpar ve işim biter.

Şimdi c2 bir delta terim var - Hangi boyutu 4D matris (featureMapSize, featureMapSize, filterNum, patternNum). Ayrıca 3 boyutlu bir matris olan c2 ağırlıkları var (filterSize, filterSize, filterNum).

Bu iki terim ve c1 aktivasyonunun gradyanı ile c1 deltasını hesaplamak istiyorum.

Uzun lafın kısası:

Önceki evrişimsel katmanın delta terimi ve o katmanın ağırlıkları göz önüne alındığında, evrişimsel bir katmanın delta terimini nasıl hesaplayabilirim?

— cdwoelk
kaynak

Ben ilk önce kolayca bir çok boyutlu o zaman aktarılabilir bir boyutlu dizi (giriş) için basitlik için aşağıdaki evrişimsel bir katman için hata türetiyorum:

Burada, uzunluğundaki in, dönş. tabaka ağırlıklarının çekirdek boyutu ile her bir ağırlık gösteren ve çıkış . Bu nedenle şunu yazabiliriz (toplamı sıfırdan not edin): burada ve aktivasyon fonksiyonu (örn. sigmoidal). Elinizdeyken artık tarafından verilen bazı hata fonksiyonu ve evrişimsel katmandaki (önceki katmanınızdan biri) hata fonksiyonunu düşünebiliriz. $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

x_{ben}^{l} = Σ_{bir = 0}^{m - 1} w_{bir} y_{bir + ben}^{l - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ . Şimdi hatanın bağımlılığını önceki katman (lar) daki ağırlıklardan birinde bulmak istiyoruz: ; burada meydana geldiği tüm ifadelerin toplamı . Son terimin , birinci denklemden görebileceğiniz gerçeğinden kaynaklandığını da biliyoruz . Gradyanı hesaplamak için, şu şekilde hesaplanabilecek ilk terimi bilmemiz gerekir:

\frac{\partial E}{\partial w_{bir}} = Σ_{bir = 0}^{N- - m} \frac{\partial E}{\partial x_{ben}^{l}} \frac{\partial x_{ben}^{l}}{\partial w_{bir}} = Σ_{bir = 0}^{N- - m} \frac{\partial E}{\partial w_{bir}} y_{ben + bir}^{l - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

\frac{\partial E}{\partial x_{ben}^{l}} = \frac{\partial E}{\partial y_{ben}^{l}} \frac{\partial y_{ben}^{l}}{\partial x_{ben}^{l}} = \frac{\partial E}{\partial y_{ben}^{l}} \frac{\partial}{\partial x_{ben}^{l}} f (x_{ben}^{l})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ tekrar birinci dönem önceki katman ve hata lineer olmayan aktivasyon fonksiyonu.

f

$f$

Gerekli tüm varlıklara sahip olduktan sonra artık hatayı hesaplayabilir ve verimli bir şekilde değerli katmana geri gönderebiliriz: Son adımın -s wrt -s yazarken kolay anlaşılır . transpoze ağırlık maxtrix (belirtmektedir ).

δ_{bir}^{l - 1} = \frac{\partial E}{\partial y_{ben}^{l - 1}} = Σ_{bir = 0}^{m - 1} \frac{\partial E}{\partial x_{ben - bir}^{l}} \frac{\partial x_{ben - bir}^{l}}{\partial y_{ben}^{l - 1}} = Σ_{bir = 0}^{m - 1} \frac{\partial E}{\partial x_{ben - bir}^{l}} w_{bir}^{f l ben p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Bu nedenle, bir sonraki katmandaki hatayı şu şekilde hesaplayabilirsiniz (şimdi vektör gösteriminde):

δ^{l} = (w^{l})^{T} δ^{l + 1} f^{'} (x^{l})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

kıvrımlı ve alt örnekleme katmanı olur: burada örnek işlemi hatayı maksimum havuzlama katmanından geçirir.

δ^{l} = u p s bir m p l e ((w^{l})^{T} δ^{l + 1}) f^{'} (x^{l})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Lütfen beni eklemek veya düzeltmek için çekinmeyin!

Referanslar için bakınız:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

ve bir C ++ uygulaması için (kurulum gerektirmeden): https://github.com/nyanp/tiny-cnn#supported-networks

— Leow.
kaynak