LSTM ünitelerine sahip RNN'ler neden “patlayan gradyanlardan” muzdarip olabilir?

RNN'lerin (ve özellikle LSTM üniteleri ile) nasıl çalıştığı hakkında temel bilgiye sahibim. Değerlerin akışını düzenleyen bir hücre ve birkaç kapı olan bir LSTM biriminin mimarisi hakkında resimsel bir fikrim var.

Bununla birlikte, görünüşe göre, LSTM'nin geleneksel bir RNN zaman içinde geri yayılım kullanarak, eğitim sırasında ortaya çıkan "yok olan ve patlayan degradeleri" problemini nasıl çözdüğünü tam olarak anlamadım. Matematiği tam olarak anlamak için kağıtları okuma fırsatım olmadı.

Bu cevap , LSTM ünitelerine sahip RNN'lerin "yok olan gradyanlar" problemini nasıl çözdüğü hakkında kısa bir açıklama vermektedir. Matematiksel olarak, bunun nedeni yok olmayan, yani sıfıra gitmeyen bir türevin var olmamasıdır. Sonuç olarak yazar, "eğimin yok olmadığı en az bir yol vardır" diye belirtmektedir. IMHO, bu açıklama biraz belirsiz.

Bu arada, Yapay Sinir Ağları ile Dizi Öğrenmeye İlişkin Sıralamayı (Ilya Sutskever, Oriol Vinyals, Quoc V. Le) okuyordum ve bu makalede "3.4 Eğitim detayları" bölümünde belirtildi

Her ne kadar LSTM'ler yok olan gradyan probleminden muzdarip olmasa da, patlayan gradyanlara sahip olabilirler.

Her zaman LSTM ünitelerine sahip RNN'lerin hem "yok olan" hem de "patlayan degradeler" sorunlarını çözdüğünü düşünmüştüm, ancak görünüşe göre LSTM ünitelerine sahip RNN'lerin de "patlayan degradelerden" muzdarip olduğu görülüyor.

Sezgisel olarak, neden böyle? Matematiksel olarak, nedenleri nelerdir?

Çok kısa bir cevap:

LSTM hücre durumunu (tipik olarak ile gösterilir c) ve gizli katmanı / çıktıyı (genellikle ile gösterilir h) ayırır ve yalnızca ek güncellemeleri cyapar, bu da anıları cdaha kararlı hale getirir . Böylece geçişin içinden akar cve kaybolması zordur (bu nedenle toplam eğimin yok edilmesi zordur). Ancak, diğer yollar gradyan patlamasına neden olabilir.

Matematiksel açıklama ile daha ayrıntılı bir cevap:

Önce CEC (Sabit Hata Döngüsü) mekanizmasını inceleyelim. MSK zaman adımdan diyor tetmek t+1unutmak kapısı 1 (böylece bu durum her zaman, hiçbir orijinal LSTM kağıt kapısı unutmak var), gradyan ise değişiklik olmadan akabilir. LSTM belgesindeki BPTT formüllerini takiben: Bir Arama Alanı Odyssey Ek A.2 ( makalede diğer literatürde yer almaktadır), CEC akışı aslında . Tüm 1'e yakın olan, birikir kayıplı.$dl/dc^{t}$yh$\delta c^t = \dots + \delta c^{t+1} \odot f^{t+1}$$f^{t+1}$$\delta c^{t+1}$$\delta c^t$

Bununla birlikte, LSTM CEC'den daha fazladır. ile arasındaki CEC yolunun yanı sıra, bitişik iki zaman adımı arasında başka yollar da vardır. Örneğin, . Arka yayılma işleminde 2 adımda : , de vanilya RNN'leri gibi bu yolda iki kez çarpıldığını ve bu da gradyan patlamasına neden olabileceğini görüyoruz. Benzer şekilde, giriş ve unut kapısından geçen yollar da matrislerinin kendi kendine çarpımı nedeniyle gradyan patlamasına neden .$c^{t}$$c^{t+1}$$y^t \rightarrow o^{t+1} \rightarrow y^{t+1}$$\delta y^t \leftarrow R^T_o \delta o^{t+1} \leftarrow \delta y^{t+1} \leftarrow R^T_o \delta o^{t+2}$$R^T_o$$R^T_i, R^T_f, R^T_z$

Referans:

Greff, RK Srivastava, J. Koutn´ık, BR Steunebrink ve J.Schmidhuber. LSTM: Bir arama alanı odyssey. CoRR, abs / 1503.04069, 2015.

LSTM / GRU'dan önceki RNN'ler dengesizdi çünkü yaptıkları şey aslında gizli durumun her zaman aralığı için bazı ağırlıklar ile çarpılmasıydı, bu da üstel bir işlem olduğu anlamına geliyor. Ve bildiğimiz gibi, üs alma çok kararsızdır: LSTM / GRU hücreleri, çarpmayı ek haline getirerek bu sorunu çözmektedir. Bir hücre durumunuz var ve çoğaltmak yerine, onu toplar veya çıkarırsınız.

Bununla birlikte, degradenin kararsız hale gelebileceği bazı yollar vardır ve ağ ne kadar büyük olursa, bu sorunla karşılaşmanız o kadar olasıdır.