Bir sinir ağında Softmax katmanı

43

Geri yayılım ile eğitilmiş bir sinir ağına softmax katmanı eklemeye çalışıyorum, bu yüzden degradesini hesaplamaya çalışıyorum.

Softmax çıktısı olup , burada , çıkış nöron numarasıdır. $h_j = \frac{e^{z_j}}{\sum{e^{z_i}}}$ $j$

Eğer türetirsem, o zaman alırım

$\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j)$

Lojistik regresyona benzer. Ancak, sayısal gradyan kontrolüm başarısız olduğu için bu yanlış.

Neyi yanlış yapıyorum? Çapraz türevleri de hesaplamam gerektiğini düşündüm (yani ) ama bunun nasıl yapılacağından ve degradenin boyutunu koruyacağından emin değilim. Aynısı, geri yayılma işlemine de uyacak. $\frac{\partial{h_j}}{\partial{z_k}}$

neural-networks

— Koştu
kaynak

3

Degrade kontrolünün nasıl başarısız olacağına dair özel bir soru olduğundan, NN'ye genel bir softmax katmanı eklemekten bahsetmediğinden sorunuzun başlığını iyileştirmelisiniz. Başlığı "Sinir Ağıma softmax katmanı eklerken neden geri yayılma düzgün çalışmıyor?" Olarak değiştirmenizi şiddetle tavsiye ediyorum.

— Charlie Parker

43

Bunun için kendi cevabımı vermekte kendimi kötü hissediyorum, çünkü belki de Jacobian'ın bir vektöre nasıl indirgenebileceği konusundaki son sezgi hariç, amip ve juampa tarafından oldukça iyi ele geçirilmiş .

Jacobian matrisinin köşegeninin derecesini doğru bir şekilde türetmişsinizdir.

${\partial h_i \over \partial z_j}= h_i(1-h_j)\;\;\;\;\;\;: i = j$

ve amipin dediği gibi, aynı zamanda Yakupyalı'nın köşegen olmayan girişlerini türetmek zorundasınız.

${\partial h_i \over \partial z_j}= -h_ih_j\;\;\;\;\;\;: i \ne j$

Bu iki kavram tanımı Kronecker Deltası adı verilen bir yapı kullanılarak kolayca birleştirilebilir , böylece degradenin tanımı

${\partial h_i \over \partial z_j}= h_i(\delta_{ij}-h_j)$

Yani bir kare matristir $\left[J \right]_{ij}=h_i(\delta_{ij}-h_j)$

Bu noktaya kadar olan tüm bilgiler zaten amip ve juampa tarafından kapsanmaktadır. Tabii ki sorun, girdi hatalarını zaten hesaplanmış çıktı hatalarından elde etmemiz gerektiğidir . Çıkış hatası gradyanı yana girişlerin her bağlıdır, giriş sonra gradyan olan $\nabla h_i$ $x_i$

$[\nabla x]_k = \sum\limits_{i=1} \nabla h_{i,k}$

Yukarıda tanımlanan Jacobian matrisi göz önüne alındığında, bu, matrisin ürünü ve çıktı hata vektörü olarak önemsiz bir şekilde uygulanır:

$\vec{\sigma_l} = J\vec{\sigma_{l+1}}$

Softmax katmanı çıkış katınızsa, onu çapraz entropi maliyet modeliyle birleştirmek, hesaplamayı basitleştirmek için basitleştirir

$\vec{\sigma_l} = \vec{h}-\vec{t}$

burada etiketlerin vektörüdür ve , softmax işlevinden çıkan çıktıdır. Sadeleştirilmiş form sadece uygun değil, aynı zamanda sayısal kararlılık açısından da son derece kullanışlıdır. $\vec{t}$ $\vec{h}$

— Mranz
kaynak

ile , bir ? (sadece 'gradyanın' bu durumda ne anlama geldiğini anlamaya çalışıyorum)

\vec{σ_{l}} = (σ_{l, 1}, σ_{l, 2}, . . ., σ_{l, k})

$\vec{\sigma_l} = (\sigma_{l,1}, \sigma_{l,2}, ..., \sigma_{l,k})$

σ_{l, j} = \frac{\partial C}{\partial z_{j}}

$\sigma_{l,j} = \frac{\partial C}{\partial z_j}$

— Alexandre Holden Daly

Evet doğru.

— Mranz

Birisi lütfen Kronecker Deltası'ndaki küçük harfli delta terimlerinin ne olduğunu ve nasıl hesaplanacağını açıklayabilir mi?

— danijar

Bir süre bu soruna sıkıştım. Netleşmeştirmek. Bir vektörünüz var (pre softmax) ve sonra softmax'ı hesaplarsınız. Softmax değerleri tüm giriş değerlerine bağlı olduğundan, gerçek jacobian matrisine ihtiyaç vardır. Sonra, jacobian matrisini alırsınız ve toplamı, her zamanki gibi gradyan iniş için kullandığınız tek sıralı bir vektör elde etmek için satırları azaltır. Tüm bu% 100 doğru mu?

— harveyslash

14

Türev yanlış. Olmalı,

\frac{\partial h_{j}}{\partial z_{k}} = h_{j} δ_{k j} - h_{j} h_{k}

$\frac{\partial h_{j}}{\partial z_{k}} = h_{j}\delta_{kj}-h_{j}h_{k}$

$C$

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n})

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n})$

örnek küme üzerinden , , n. inci örnek için hedefin k. bileşeninin değeridir. Burada bir 1-C kodlama şeması kullandığınız varsayılmaktadır, yani, . Böyle bir durumda, karşılık gelen sınıfı temsil eden bileşen hariç, tüm t'ler sıfırdır. $t_{k}^{n}$ $t_{k}^{n}$

Not: t'ler sabittir. Dolayısıyla bu işlevselliği en aza indirgemek, en aza indirmeye eşdeğerdir,

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n}) + \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln t_{k}^{n} = - \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln \frac{y_{k} (x^{n})}{t_{k}^{n}}

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n}) + \sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln t_{k}^{n} = -\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln \frac{y_{k}(\boldsymbol{x}^{n})}{t_{k}^{n}}$

yani Jacobian’ın çok uygun bir formda olması avantajına sahip.

\frac{\partial E}{\partial z_{j}} = h_{j} - t_{j}

$\frac{\partial E}{\partial z_{j}} = h_{j}-t_{j}$

Piskopos'un Örüntü Tanıma için Sinir Ağları'nın bir kopyasını almanızı tavsiye ederim . IMHO hala sinir ağlarında en iyi kitap.

— jpmuc
kaynak

14

Softmax'ın her çıktısı tüm girdilere bağlıdır, bu yüzden degrade gerçekten de bir Jacobian matrisidir. Doğru bir şekilde hesapladınız , fakat ayrıca ise gerekir . Sanırım ilk ifadeyi türetebilirseniz, ikinci ifadeyi de kolayca türetmeniz gerekir. $\partial_j h_j = \frac{\partial h_j}{\partial z_j}=h_j(1-h_j)$ $\partial_k h_j=-h_jh_k$ $j \neq k$

Geriye yayılmada ne gibi bir problem gördüğünüzden emin değilim: softmax katmanında çıkışlarına ve girişlerine sahip olmalısınız , bu nedenle her çıkıştan bir hata her girişe yayılmalıdır ve tam olarak bu nedenle tüm Jacobian'a ihtiyacınız var. Öte yandan, genellikle softmax çıktısı ile ilişkili bir maliyet fonksiyonuna sahip olursunuz, örneğin burada istediğiniz (sınıflandırma yaparken, çoğu zaman bunlardan biri 1'e eşittir). ve diğerleri 0). O zaman aslında , temiz bir ifadeyle sonuçlanan bir zincir kuralı ile hesaplanabilen ve aslında bir vektör (matris değil) olan, . $j$ $j$

C = - \sum_{j} t_{j} \log h_{j},

$C=-\sum_j t_j \log h_j,$

t_{j}

$t_j$

\frac{\partial C}{\partial z_{j}}

$\frac{\partial C}{\partial z_j}$

— amip Reinstate Monica diyor
kaynak

1

Sorunumu daha iyi tanımlamaya çalışacağım, örneğin bu öğretici ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm'e göre , ağırlıkları ve deltaları türev ile çarparak öğelendiğim (adım 3). Yani tam jacobian matrisine sahipsem, boyutlar uymuyor. Teşekkürler.

— Ran

Softmax değil, normal bir gizli katman ise nasıl devam edeceğini biliyor musunuz? Bu katmandaki her birimin önceki katmanın tüm birimlerinden girdiler aldığını hayal edin (yani bu katman "tam olarak bağlanır"), bu normalde böyledir. Öyleyse, hataları bu katmandan geriye doğru yaymanız gerekir ve türevler de bir Jacobian matrisi oluşturur. Nasıl yapılacağı konusunda kafanız karışırsa, karmaşanız softmax ile ilişkili değildir.

— amip diyor Reinstate Monica,

1

Doğrusal ve sigmoid katmanlar için başarılı bir şekilde uygulanmaktadır çünkü türev bir vektördür, bu yüzden boyutlarla bir sorunum olmadı.

— koştu.

Üzgünüm, Ran, belki de sadece aptalım, ama önceki katmana tamamen bağlı bir sigmoid katmana sahipseniz, o zaman her birimin çıkışına (ya da girişine) her birinden gelen bağlantıya göre türev alacaktır . önceki katman, yani tüm türevler bir 2D matris oluşturur, n'est-ce pas?

j

$j$

i

$i$

— amip diyor Reinstate Monica