Darboğaz mimarileri sinir ağlarında nasıl çalışır?

21

Bir darboğaz mimarisini, ResNet kağıdında bulunan ve [iki 3x3 dönüşümlü katman] 'ın [bir 1x1 dönş., Bir 3x3 dönş.

1x1 konveksiyon katmanlarının başka bir yazıda açıklanan boyut küçültme (ve restorasyonu) biçimi olarak kullanıldığını anlıyorum . Ancak, bu yapının neden orijinal düzen kadar etkili olduğu konusunda net değilim.

Bazı iyi açıklamalar şunları içerebilir: Hangi adım uzunluğu ve hangi katmanlarda kullanılır? Her bir modülün örnek giriş ve çıkış boyutları nelerdir? 56x56 özellik haritaları yukarıdaki şemada nasıl temsil edilmektedir? 64-d filtre sayısına atıfta bulunuyor, bu neden 256-d filtrelerden farklı? Her katmanda kaç ağırlık veya FLOP kullanılır?

Herhangi bir tartışma büyük beğeni topluyor!

residuals deep-learning conv-neural-network

— derekchen14
kaynak

Aşırı uydurmanın genelleştirilmesine ve önlenmesine yardımcı olabileceğini düşünüyorum. Ama bu sadece belirsiz bir hatırlama.

— Chris

5

Darboğaz mimarisi, hesaplama konuları nedeniyle çok derin ağlarda kullanılır.

Sorularınızı cevaplamak için:

56x56 özellik eşlemeleri yukarıdaki resimde gösterilmemiştir. Bu blok, giriş boyutu 224x224 olan bir ResNet'ten alınır. 56x56, bazı ara katmanlardaki girdinin altörneklenmiş halidir.
64-d, özellik haritalarının (filtrelerin) sayısını ifade eder. Darboğaz mimarisi 256-d'ye sahiptir, çünkü daha derin ağlar içindir, çünkü giriş olarak daha yüksek çözünürlüklü görüntü alır ve bu nedenle daha fazla özellik haritası gerektirir.
ResNet 50'deki her bir darboğaz katmanının parametreleri için bu şekle bakın .

— Newstein
kaynak

1

Gelecekteki okuyucular için, 1x1 dışbükeylerin 56x56 (WxH) değerini korumak için adım = 1 ve ped = 0 olduğunu düşünüyorum. Benzer şekilde, 3x3 dışa doğru da boyutu korumak için adım = 1 ve yastık = 1 vardır.

— derekchen14

Hala anlamıyorum. Her ikisinin de benzer miktarda parametreye sahip olduğu görülüyor, bu durumda hala bootleneck katmanının amacını anlamıyorum.

— user570593

-1

Newstein'ın cevabındaki 2. noktanın yanıltıcı olduğunu düşünüyorum.

64-dYa 256-dbaşvurmalıdır kanal sayısına ait giriş özelliği haritası - Girdi özelliği sayısını değil eşler.

OP'nin sorusundaki "darboğaz" bloğunu (şeklin sağında) örnek olarak düşünün:

256-dtek boyutlu giriş özellikli haritamız olduğu anlamına gelir n x n x 256. 1x1, 64Şekil vasıtaları 64 filtreler , her biri 1x1vardır ve 256kanal ( 1x1x256).
Burada 1x1x256, girdi özelliği eşlemli ( n x n x 256) bir tek filtrenin ( ) evrimi bize n x nçıktı verdiğini görebiliriz .
Şimdi 64filtrelerimiz var, bu nedenle çıktıları istifleyerek çıktı özelliği harita boyutu n x n x 64.

Düzenlendi:

@Michael Chernick: Tamam, kabul edilen cevabı düzeltmeye çalıştığımda bu kısmi bir cevap olurdu. Kısmi cevabıma bakmak için zaman ayırabilir ve doğru anladığımı bildirebilir misiniz?

— Tutuşturmak
kaynak

İtibarınız ne olursa olsun, yorumların cevaplarını kullanmamalısınız.

— Michael R.Chernick