Keras Convolution2d () tarafından kullanılan varsayılan filtreler nedir / nelerdir?

18

Sinir ağları için oldukça yeniyim, ama doğrusal cebiri ve evrişimin matematiğini gayet iyi anlıyorum.

Ben rakamları tanımak için MNIST verileri ile bir Keras evrişimsel NN eğitimi için net çeşitli yerlerde buldum örnek kod anlamaya çalışıyorum. Beklentim, kıvrımlı bir katman oluşturduğumda, girdiye uygulanacak bir filtre veya filtre kümesi belirtmem gerektiğiydi. Ama bulduğum üç örneğin hepsi böyle bir evrişim katmanı yaratıyor:

model.add(Convolution2D(nb_filter = 32, nb_row = 3, nb_col = 3,
                        border_mode='valid',
                        input_shape=input_shape))

Bu, CNN tarafından işlenen görüntülere toplam 32 3x3 filtre uyguluyor gibi görünüyor. Peki bu filtreler nedir? Onları matematiksel olarak nasıl tarif ederim? Keras dokümantasyonu yardımcı değildir.

Şimdiden teşekkürler,

convnet keras

— ChrisFal
kaynak

2

Bu CNN'lerin evrişim kısmını anlamaktan kaynaklanıyor. Burada okuyabilirsiniz: cs231n.github.io/convolutional-networks

— Christian Safka

15

Varsayılan olarak, filtreleri, şekilde tanımlanan pozitif ve negatif sınırlar ile düzgün bir dağılımdan değerler çeken yöntem kullanılarak rastgele başlatılır : $W$ glorot_uniform

W ~ U (\frac{6}{n_{ben n} + n_{Ö u t}}, \frac{- 6}{n_{ben n} + n_{Ö u t}}),

$W \sim \mathcal{U}\left(\frac{6}{n_{in} + n_{out}}, \frac{-6}{n_{in} + n_{out}}\right),$

burada , bu birime beslenen birim sayısı ve , bu sonucun beslendiği birim sayısıdır. $n_{in}$ $n_{out}$

Bir tahmin yapmak için ağı kullandığınızda, bu filtreler ağın her katmanına uygulanır. Yani, her girdi görüntüsü üzerindeki her filtre için ayrı bir kıvrım gerçekleştirilir ve bu kıvrımların sonuçları bir sonraki kıvrım katmanına (veya tam olarak bağlı katmana veya sahip olabileceğiniz başka bir şeye) beslenir.

Egzersiz sırasında, filtrelerdeki değerler bir kayıp fonksiyonuna göre geriye doğru hareketle optimize edilir. Rakamları tanıma gibi sınıflandırma görevleri için genellikle çapraz entropi kaybı kullanılır. Aşağıda, birinci katmanda (üstte) öğrenilen bazı filtrelerin ve kıvrımlı bir ağın ikinci katında (altta) öğrenilen filtrelerin bir görselleştirmesi vardır:

Gördüğünüz gibi, ilk katman filtreleri temel olarak basit kenar detektörleri olarak işlev görürken, ikinci katman filtreleri daha karmaşıktır. Bir ağın derinliğine ilerledikçe, filtreler daha karmaşık şekilleri algılayabilir. Bu filtreler zaten birçok kez kıvrılmış görüntüler üzerinde etkili olduğundan ve muhtemelen orijinal doğal görüntüye çok benzemediğinden, görselleştirmek biraz zorlaşıyor.

— timleathart
kaynak

5

glorot_uniformnormal dağılımı kullanmaz. Bence tarif ediyorsun glorot_normal. Bunun cevap için çok önemli olduğunu düşünmüyorum - kilit noktalar rastgele başlatma ve ardından eğitimin etkileri. Eğitimli filtrelerin uç / köşe vb filtreleri gibi görünmesini açıklamaya değer olabilir (belki de ilk katman filtrelerini görüntülemeden önce / sonra klasik görüntülerinden biri ile).

— Neil Slater

Tim, matematiği verdiğin için teşekkürler. @Neil Slater - filtrelerin, geri yayılımla eğitimden sonra, kenar tespiti vb. Daha fazla itibarım olsaydı, her iki katkınızı da + 1'leyebilirdim.

— ChrisFal

@NeilSlater Yorumunuz için teşekkürler - haklısın, kafam karışmıştı glorot_normalve glorot_uniformcevabı bunu yansıtacak şekilde güncelledim. Ayrıca, önerdiğiniz gibi filtrelerin nasıl sonuçlandığı hakkında biraz ek bilgi ekledim.

— timleathart

6

$A$ $F_k$ $B_k(i,j)$

B_{k} (ben, j) = (F_{k} * bir) (ben, j) = \underset{l = 0, 1, 2}{Σ} \underset{m = 0, 1, 2}{Σ} F_{k} (l, m) bir (ben - l, j - m)

$B_k(i,j) = (F_k * A) (i,j) = \sum_{l=0,1,2}\sum_{m=0,1,2}F_k(l,m)A(i-l,j-m)$

Traned modeli, maliyet fonksiyonunuza göre çekirdekleri eğitecek ve sonunda bu çekirdekler modelinizin filtreleridir.

— lucky6qi
kaynak

Bu matematiği anladım, ancak eminim ki bu konunun birçok okuyucusu diyagramı yararlı bulacaktır. Çok teşekkürler!

— ChrisFal

imghost.in/images/2018/03/06/XvatD.jpg belki resim B'deki koordinatlarla (0,0) olmalıdır?

— 18'de vinnitu

@vinnitu evet, gerçekten. Aslında B'yi de Bk (i, j) olarak değiştirmem gerekiyor (i = 0,1,2, j = 0,1,2).

— lucky6qi