Derin Öğrenmede Derin Artık Ağlar bağlamında bir Artık Öğrenme bloğu tam olarak nedir?

Görüntü Tanıma için Derin Artık Öğrenme makalesini okuyordum ve artık bir bloğun hesaplamalı olarak neleri gerektirdiğini% 100 kesin olarak anlamakta zorlanıyordum. Kağıtlarını okurken şekil 2 var:

Artık Blok'un ne olması gerektiğini gösterir. Bir artık bloğun hesaplanması sadece aşağıdakilerle aynı mıdır:

$$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$$

Yoksa başka bir şey mi?

Başka bir deyişle, makalenin gösterimini eşleştirmeye çalışmak belki de:

$$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$$

bu doğru mu?

$\mathbf{y}$

$$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$$

$\sigma$

Evet bu doğru, nasıl uygulandığını görmek için kafe modellerine bir göz atabilirsiniz .