Geçenlerde Yan LeCuns'in 1x1 konvolüsyonları hakkındaki yorumunu okudum :

Konvolüsyonlu Ağlarda, "tamamen bağlantılı katmanlar" diye bir şey yoktur. Yalnızca 1x1 evrişim çekirdekleri ve tam bir bağlantı tablosu olan evrişim katmanları vardır.

Çok nadiren anlaşılan bir gerçek, ConvNets'in sabit boyutlu bir girişe sahip olması gerekmiyor. Bunları, tek bir çıkış vektörü üreten (uzamsal boyutta olmayan) girişler üzerinde eğitebilir ve daha sonra daha büyük görüntülere uygulayabilirsiniz. Tek bir çıktı vektörünün yerine, çıktı vektörlerinin uzamsal haritasını elde edersiniz. Her vektör, giriş pencerelerini giriş üzerinde farklı konumlarda görür. Bu senaryoda, "tamamen birbirine bağlı katmanlar" gerçekten 1x1 evrişler gibi davranıyor.

Bunun için basit bir örnek görmek istiyorum.

Örnek

Tamamen bağlı bir ağınız olduğunu varsayalım. Sadece bir giriş katmanına ve bir çıkış katmanına sahiptir. Giriş katmanı 3 düğüme, çıkış katmanı 2 düğüme sahiptir. Bu ağ $3 \cdot 2 = 6$ parametreye sahiptir. Daha da somut hale getirmek için, çıktı katmanında ve ağırlık matrisinde bir ReLU aktivasyon işleviniz olduğunu varsayalım.

Yani ağ $f(x) = ReLU(W \cdot x + b)$ ile $x \in \mathbb{R}^3$ .

Konvolüsyon tabakası aynı olmak için nasıl görünür? LeCun'un "tam bağlantı tablosu" ile anlamı nedir?

Eşdeğer bir CNN elde etmek için sanırım aynı sayıda parametreye sahip olmak zorunda kalacak. Yukarıdan MLP sahip $2 \cdot 3 + 2 = 8$ parametreleri.

Senin örnek

Örnekte 3 giriş ve 2 çıkış ünitemiz var. : Helezonlar uygulamak için şekle sahip bu birimlerin düşünmek [1,1,3]ve [1,1,2]sırasıyla. CNN terimlerinde, her biri uzaysal boyutlara sahip olan 3giriş ve 2çıkış özellik haritalarına sahibiz 1 x 1.

n x nk[n,n,k]1x1[1, 1, 3]22$1 \times 1$$1 \times 1 \times \text{number of channels of the input}$

$f(x) = ReLU\left(\begin{pmatrix}w_1 \cdot x\\ w_2 \cdot x\end{pmatrix} + \begin{pmatrix}b_1\\ b_2\end{pmatrix}\right)$$x \in \mathbb{R}^3$

Gerçek Kodda Dönüşüm

Gerçek hayattan bir örnek için, vgg-fcn uygulamama da bir göz atın . Bu dosyada verilen Kod VGG ağırlıklarını alır, ancak tam bağlı her katmanı evrişimli bir katmana dönüştürür. Sonuçta ortaya çıkan ağ vgg, şeklin girdi görüntüsüne uygulandığında aynı çıktıyı verir [244,244,3]. (Her iki ağı da dolgu olmadan uygularken).

Dönüştürülen evrişimli tabakalar fonksiyona dahil edilir _fc_layer(satır 145). 7x7FC6 için çekirdek boyutuna sahiptirler (VGG'den itibaren maksimal olan, pool5şeklin bir özellik haritasını çıkarır [7,7, 512]. Katman FC7ve evrişim FC8olarak uygulanır 1x1.

"Tam Bağlantı Tablosu"

% 100 emin değilim, ancak giriş özelliği haritasıyla aynı boyuta sahip bir filtre / çekirdeğe başvurabilir. Her iki durumda da (Kod ve Örneğiniz) uzaysal boyutlar, filtrenin uzaysal boyutunun girdiyle aynı uzaysal boyutla aynı olması bakımından maksimum düzeydedir.

$n*n$$i$$m$$n$$n$$m$

$n*n*i*m$

$n*n*i$$*$$* m$

$n*n$$* i$$* m$

( Kaynak )

Eşdeğer çekirdek basitçe girdinin sahip olduğu şekle sahiptir ve bir tensör nokta ürünü hesaplar. (Kanal / derinlik boyutunu genellikle görmezden gelen “boyut” ile ilgili bir karışıklık olduğu anlaşılıyor çünkü “şekil” kelimesini kullanıyorum). Çekirdek olabileceği kadar büyük olduğundan, “çekirdeği giriş boyunca kaydırmak” yoktur. Alıntı Stanford CS 231n ders notları :

Herhangi bir FC katmanı bir CONV katmanına dönüştürülebilir. Örneğin, 7 × 7 × 512 boyutunda bir girdi hacmine bakan K = 4096 değerine sahip bir FC katmanı, F = 7, P = 0, S = 1, K = 4096, F değerlerine sahip bir CONV katmanı olarak eşit şekilde ifade edilebilir. = 7, p = 0, S = 1, = 4096 K. Başka bir deyişle, filtre boyutunu tam olarak giriş hacminin büyüklüğü olacak şekilde ayarlıyoruz ve bu nedenle çıktı, giriş hacmi boyunca yalnızca bir derinlik sütunu “uyduğundan” yalnızca 1 × 1 × 4096 olacaktır; ilk FC katmanı.

"F = 7, P = 0, S = 1, K = 4096, F = 7, P = 0, S = 1, K = 4096" burada her konv çekirdeğin 7x7x512 şeklinde ve 4096 tane filtre olduğuna inanıyorum.

Daha önceki cevabı, AlexNet'in son şekli olan (1x1x4096 şeklindeki girdiyi alan ve 1000 sınıf puanını hesaplayan) "1x1 evrişim" olarak uygulandığından bahsetti. Tamamlanmak üzere, her bir conv çekirdeği 1x1x4096 şeklindedir ve bunlardan 1000 tane vardır.

Le Cunn ayrıca bunu CNN makalesinde , sayfa 8'de, LeNet5'in açıklaması bölümünde açıklar:

Katman C5, 120 özellik haritasına sahip evrişimli bir katmandır. Her birim, S4'ün 16 özellik haritasının tamamında 5x5'lik bir mahalleye bağlanır. Burada S4'ün boyutu 5x5 olduğundan, C5'in özellik haritalarının boyutu 1x1'dir; bu, S4 ve C5 arasında tam bir bağlantı anlamına gelir.

Benim gibi herhangi acemi PyTorch kullanıcıya - yok bir "doğrusal katmana" ile "tam bağlantılı bir tabaka" karıştırırlar.

Doğrusal bir katman ve 1x1 evrişim aynı şeydir. “Tamamen birbirine bağlı bir katman” diye bir şeyin olmadığını anlamam biraz zaman aldı - bu, uzaysal boyutların bir 1D dev tensöre düzleştirilmesiydi. Düzleştirme, tüm mekansal konumlardaki her bir öğenin ayrı bir özellik haritası / kanal / boyut olarak sunulmasına neden olur (ne demek istersen). Bu nedenle, düzleştirilmiş bir tensöre doğrusal bir katman uyguladığımızda , açıkça bir 1x1 evrişim ile aynı olmayan tamamen bağlı bir işlem elde ediyoruz .

1x1$\sum_{j=0}^{1} X[j]W_0[j] + b[0]$$\sum_{j=0}^{1} X[j]W_1[j] + b[1]$$\sum_{j=0}^{1} X[j]W_2[j] + b[2]$

$O = W_{2 \times 3}X_{3 \times 1} + b_{2 \times 1}$

Tamamen bağlı bir katmanın sadece bir boyut girişi için geçerli bir nxn evri katmanı olduğunu iddia eden diğer cevaplar nxnkafa karıştırıcıdır (doğru olsa da).