Tekrarlayan Bir Sinir Ağında (RNN) Katmanı Unut -

Unut katmanında bir RNN her değişkenlerin boyutlarını anlamaya çalışıyorum, ancak doğru yolda olup olmadığından emin değilim. Bir sonraki resim ve denklem Colah'ın "LSTM Ağlarını Anlamak" adlı blog yazısıdır :

nerede:

• , m ∗ 1 vektörboyutunun girilmesidir$x_t$$m*1$
• n ∗ 1 vektörboyutunun gizli durumudur$h_{t-1}$$n*1$
• bir birleştirme (örneğin, x t = [ 1 , 2 , 3 ] , h t - 1 = [ 4 , 5 , 6 ] ise , [ x t , h t - 1 ] = [ 1 , 2 , 3 , 4 , 5 , 6 ] )$[x_t, h_{t-1}]$$x_t=[1, 2, 3], h_{t-1}=[4, 5, 6]$$[x_t, h_{t-1}]=[1, 2, 3, 4, 5, 6]$
• boyutu ağırlıkları olan K * ( m + n ) matrisi, k, hücre durumları sayısını (bir m = 3 ve n = 3 olan yukarıdaki örnekte, ve 3 hücre durumları, daha sonra varsa ağırlık f = 3 ∗ 3 matris)$w_f$$k*(m+n)$$k$$m=3$$n=3$$w_f=3*3$
• boyutu önyargı k * 1 vektörü, k, hücre durumlarının sayısı (yana olan k = 3 , yukarıda bir örnek olarak, daha sonra b , f a, 3 * 1 vektörü).$b_f$$k*1$$k$$k=3$$b_f$$3*1$

Biz ayarlanırsa olması: [ 1 2 3 4 5 6 5 6 7 8 9 10 3 4 5 6 7 8$w_f$

$$\begin{bmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ 5 & 6 & 7 & 8 & 9 & 10 \\ 3 & 4 & 5 & 6 & 7 & 8 \\ \end{bmatrix}$$

Ve olmalıdır: [ 1 , 2 , 3 $b_f$$[1, 2, 3]$

Daha sonra $W_f . [h_{t-1}, x_t] =$

$$\begin{bmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ 5 & 6 & 7 & 8 & 9 & 10 \\ 3 & 4 & 5 & 6 & 7 & 8 \\ \end{bmatrix} . \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \\ 5 \\ 6 \\ \end{bmatrix} =\begin{bmatrix} 91 & 175 & 133\end{bmatrix}$$

Sonra, önyargı ekleyebilir $W_f . [h_{t-1}, x_t] + b_f=$

$$\begin{bmatrix} 91 & 175 & 133\end{bmatrix} + \begin{bmatrix} 1 & 2 & 3\end{bmatrix}=\begin{bmatrix} 92 & 177 & 136\end{bmatrix}$$

$\frac{1}{1+e^{-x}}$$x=\begin{bmatrix} 92 & 177 & 136\end{bmatrix}$

$$\begin{bmatrix} 1 & 1 & 1\end{bmatrix}$$

$C_{t-1}$$k=3$

Yukarıdaki varsayım doğru mu?

Bu aynı zamanda hücre durumu ve gizli durumun aynı olduğu anlamına mı geliyor?

Harika bir soru!

tl; dr: Hücre durumu ve gizli durum iki farklı şeydir, ancak gizli durum hücre durumuna bağlıdır ve gerçekten de aynı boyuta sahiptirler.

Daha uzun açıklama

İkisi arasındaki fark aşağıdaki şemadan görülebilir (aynı blogun bir parçası):

Hücre durumu batıdan doğuya tepeden geçen kalın çizgidir. Tüm yeşil bloğa 'hücre' denir.

Önceki zaman adımındaki gizli durum, geçerli zaman adımındaki girişin bir parçası olarak ele alınır.

Ancak, tam bir adım atmadan ikisi arasındaki bağımlılığı görmek biraz daha zor. Bunu başka bir bakış açısı sağlamak için yapacağım, ancak blogdan büyük ölçüde etkilendi. Benim gösterimim aynı olacak ve açıklamamda blogdaki resimleri kullanacağım.

Operasyonların sırasını blogda sunulduklarından biraz farklı düşünmeyi seviyorum. Şahsen, giriş kapısından başlamak gibi. Aşağıda bu bakış açısını sunacağım, ancak blogun bir LSTM hesaplaması kurmanın en iyi yolu olabileceğini ve bu açıklamanın tamamen kavramsal olduğunu unutmayın.

İşte olanlar:

Giriş kapısı

$t$$x_t$$h_{t-1}$

$x_t = [1, 2, 3]$$h_t = [4, 5, 6]$

$x_t$$h_{t-1}$$[1, 2, 3, 4, 5, 6]$

$W_i$$W_i \cdot [x_t, h_{t-1}] + b_i$$W_i$$b_i$

Altı boyutlu bir girişten (birleştirilmiş giriş vektörünün uzunluğu) hangi durumların güncelleneceğine dair üç boyutlu bir karara gideceğimizi varsayalım. Bu, 3x6 ağırlık matrisine ve 3x1 bias vektörüne ihtiyacımız olduğu anlamına gelir. Bunlara bazı değerler verelim:

$W_i = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix}$

$b_i = \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$

Hesaplama şöyle olacaktır:

$\begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix} \cdot \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \\5 \\6 \end{bmatrix} + \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}$

$i_t = \sigma (W_i \cdot [x_t, h_{t-1}] + b_i)$

$\sigma(x) = \frac{1}{1 + exp(-x)}$$x$

$\sigma(\begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}) = [\frac{1}{1 + exp(-22)}, \frac{1}{1 + exp(-42)}, \frac{1}{1 + exp(-62)}] = [1, 1, 1]$

İngilizce olarak bu, tüm eyaletlerimizi güncelleyeceğimiz anlamına gelir.

Giriş kapısı ikinci bir kısma sahiptir:

$\tilde{C_t} = tanh(W_C[x_t, h_{t-1}] + b_C)$

Bu bölümün amacı, eğer yaparsak, durumu nasıl güncelleyeceğimizi hesaplamaktır. Bu aşamadaki yeni girdiden hücre durumuna katkıdır. Hesaplama, yukarıda gösterilenle aynı prosedürü izler, ancak sigmoid ünitesi yerine tanh ünitesi ile.

$\tilde{C_t}$$i_t$

$i_t$$\tilde{C_t}$

Ardından, sorunuzun en önemli noktası olan unutma kapısı geliyor.

Unutma kapısı

Unutma kapısının amacı, artık ilgili olmayan önceden öğrenilmiş bilgileri kaldırmaktır. Blogda verilen örnek dil tabanlıdır, ancak kayan bir pencere de düşünebiliriz. Bir hastalık salgını sırasında bir bölgedeki bulaşıcı bireylerin sayısı gibi doğal olarak tamsayılarla temsil edilen bir zaman serisini modelliyorsanız, belki de hastalık bir bölgede öldüğünde, hastalığın nasıl ilerleyeceğini düşünerek.

Giriş katmanı gibi, unut katmanı da önceki zaman adımındaki gizli durumu ve geçerli zaman adımındaki yeni girişi alır ve bunları birleştirir. Mesele, neyi unutup neyi hatırlayacağınıza stokastik olarak karar vermektir. Önceki hesaplamada, 1'lerin hepsinin sigmoid katman çıktısını gösterdim, ancak gerçekte 0.999'a daha yakındı ve yuvarlandım.

Hesaplama, giriş katmanında yaptığımız gibi görünüyor:

$f_t = \sigma(W_f [x_t, h_{t-1}] + b_f)$

Bu bize 0 ile 1 arasında değerler içeren 3 boyutlu bir vektör verecektir.

$[0.5, 0.8, 0.9]$

Daha sonra, bu üç bilgiden hangisinin unutulacağı bu değerlere dayanarak stochast karar veriyoruz. Bunu yapmanın bir yolu, birörnek (0, 1) dağılımından bir sayı üretmektir ve bu sayı birimin 'açma' (1, 2 ve 3 üniteleri için 0,5, 0,8 ve 0,9) olasılığından düşükse sırasıyla), o birimi açıyoruz. Bu durumda, bu bilgiyi unuttuğumuz anlamına gelir.

Hızlı not: giriş katmanı ve unut katmanı bağımsızdır. Bahis yapan biri olsaydım, bu paralellik için iyi bir yer olurdu.

Hücre durumunu güncelleme

Şimdi hücre durumunu güncellemek için gereken her şeye sahibiz. Giriş ve unutma kapılarındaki bilgilerin bir kombinasyonunu alıyoruz:

$C_t = f_t \circ C_{t-1} + i_t \circ \tilde{C_t}$

$\circ$

Kenara: Hadamard ürünü

$x_1 = [1, 2, 3]$$x_2 = [3, 2, 1]$

$x_1 \circ x_2 = [(1 \cdot 3), (2 \cdot 2), (3 \cdot 1)] = [3, 4, 3]$

Kenara çekil.

Bu şekilde, hücre durumuna (girdi) ne eklemek istediğimizi hücre durumundan uzaklaştırmak istediğimiz (unut) ile birleştiririz. Sonuç, yeni hücre durumudur.

Çıkış kapısı

Bu bize yeni gizli durumu verecektir. Esasen çıkış kapısının amacı, sonraki hücre durumunu güncellerken modelin bir sonraki bölümünün hangi bilgileri dikkate almasını istediğimize karar vermektir. Blogdaki örnek yine dildir: isim çoğulsa, sonraki adımdaki fiil çekimleri değişecektir. Bir hastalık modelinde, belirli bir alandaki bireylerin duyarlılığı başka bir alandan farklıysa, bir enfeksiyon alma olasılığı değişebilir.

Çıktı katmanı aynı girişi tekrar alır, ancak güncellenmiş hücre durumunu dikkate alır:

$o_t = \sigma(W_o [x_t, h_{t-1}] + b_o)$

Yine, bu bize bir olasılık vektörü verir. Sonra hesaplıyoruz:

$h_t = o_t \circ tanh(C_t)$

Dolayısıyla, mevcut hücre durumu ve çıkış kapısı, neyin verileceği konusunda anlaşmalıdır.

$tanh(C_t)$$[0, 1, 1]$$o_t$$[0, 0, 1]$$[0, 0, 1]$

$h_t$$y_t = \sigma(W \cdot h_t)$

$h_t$

LSTM'lerde birçok varyant var, ancak bu temel unsurları kapsıyor!