DropOut evrişimsel katmanlarla tam olarak nasıl çalışır?

Bırakma ( kağıt , açıklama ) bazı nöronların çıkışını sıfıra ayarlar. Bir MLP için, Iris çiçeği veri kümesi için aşağıdaki mimariye sahip olabilirsiniz :

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

Şu şekilde çalışır:

$$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$$

ile , B 1 ∈ R, 50 x 4 , D ∈ { 0 , 1 } 50 x 1 , B 2 ∈ R, 20 x 50 , W, 3 ∈ R 20 × 3 (basitlik uğruna önyargıları görmezden gelmek).$input\_vector \in \mathbb{R}^{4 \times 1}$$W_1 \in \mathbb{R}^{50 \times 4}$$D \in \{0, 1\}^{50 \times 1}$$W_2 \in \mathbb{R}^{20 \times 50}$$W_3 \in \mathbb{R}^{20 \times 3}$

İle ve$D = (d)_{ij}$

$$d_{ij} \sim B(1, p=0.5)$$

burada işlemi D ile W noktasını M ile çarpar (bakınız Hadamard ürünü ).$\text{mask}(D, M)$$D$$M$

Bu nedenle, matrisini her seferinde örnekliyoruz ve böylece bırakma, bir düğümün 0 ile çarpımı haline geliyor.$D$

Ancak CNN'ler için tam olarak neyin bırakıldığını net değil. Üç olasılık görebiliyorum:

1. Tam özellik haritalarını bırakma (dolayısıyla bir çekirdek)
2. Bir çekirdeğin bir öğesini bırakma (bir çekirdeğin bir öğesini 0 ile değiştirme)
3. Özellik haritasının bir öğesini düşürme

Lütfen cevabınıza bir referans / teklif ekleyin.

Düşüncelerim

Bence Lasagne yapar (3) ( koda bakınız ). Bu, uygulanması en basit yöntem olabilir. Ancak, orijinal düşünceye daha yakın olabilir (1).

Caffe için benzer görünüyor ( koda bakınız ). Tensorflow için, kullanıcı karar vermelidir ( kod - noise_shape=Nonegeçtiğinde ne olduğundan emin değilim ).

Nasıl olmalı

(2) ve (3), büyük olasılıkla istenmeyen, ağın uzaysal konumlara değişmezlik katmasına neden olacağı için çok mantıklı değildir. Dolayısıyla (1) mantıklı olan tek değişkendir. Ancak varsayılan uygulamayı kullanırsanız ne olacağından emin değilim.

$l$$W^{(l+1)}$

Daha fazla ayrıntı için, bu makaledeki 3. bölümün size yardımcı olabileceğini düşünüyorum: Maksimum havuz oluşturma ve Evrişimsel çıkış . Özellikle 3.2.

Test ettiğinizde ağın tüm düğümlerini kullanırsınız, ancak filtrenin ağırlıkları, kağıtta açıklandığı gibi tutma olasılığı ile ölçeklendirilir.

Lütfen cevabımı düzeltmek veya düzeltmek için çekinmeyin.

Umarım bu en azından biraz yardımcı olur.