«backpropagation» etiketlenmiş sorular

Bu, bir süredir beni şaşırtan küçük bir kavramsal sorudur: Bir sinir ağındaki max-havuz katmanından nasıl geri yayılabiliriz? Torch 7'nin nn kütüphanesi için bu eğitici yazıda Max Pooling katmanları ile karşılaştım . Kütüphane, gradyan hesaplamasını soyutlar ve derin bir ağın her katmanı için ileri geçişler. Gradyan hesaplamasının bir max-pooling katmanı için …

62 neural-network  backpropagation 

Bir süredir sinir ağları kullanıyorum. Bununla birlikte, sürekli mücadele ettiğim bir şey, ağı eğitmek için bir iyileştirici seçimidir (backprop kullanarak). Genellikle yaptığım şey sadece biriyle (örneğin standart SGD) başlamak ve diğerlerini hemen hemen rastgele denemek. İyi bir optimizer bulmak için daha iyi (ve daha az rastgele) bir yaklaşım olup olmadığını …

18 neural-network  optimization  backpropagation 

ReLU ile geri yayılımı elde etmekte biraz zorlanıyorum ve biraz iş yaptım, ancak doğru yolda olup olmadığımdan emin değilim. Maliyet Fonksiyonu: ygerçek değeri ve y tahmin edilen bir değerdir. Ayrıcadaimax> 0olduğunu varsayın.12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx 1 Kat ReLU, burada 1. kat ağırlığı w1w1w_1 dCdw1=dCdRdRdw1dCdw1=dCdRdRdw1\frac{dC}{dw_1}=\frac{dC}{dR}\frac{dR}{dw_1} dCw1=(y−ReLU(w1x))(x)dCw1=(y−ReLU(w1x))(x)\frac{dC}{w_1}=(y-ReLU(w_1x))(x) 2 kat ReLU, burada 1. kattaki …

17 neural-network  backpropagation 

Aşağıdaki CNN var: 5x5 büyüklüğünde bir giriş görüntüsü ile başlıyorum Sonra 4x2 boyutunda özellik haritası üreten 2x2 çekirdeği ve adım = 1 kullanarak evrişim uyguluyorum. Sonra özellik haritasını 2x2 boyutuna küçülten stride = 2 ile 2x2 max-pooling uygularım. Sonra lojistik sigmoid uyguluyorum. Sonra 2 nöron ile tamamen bağlı bir katman. …

16 machine-learning  convnet  backpropagation  cnn  kernel 

Sürgülü pencere yaklaşımı ile eğitirsem LSTM'mi geçecek miyim? Neden insanlar bunu LSTM'ler için kullanmıyor? Basitleştirilmiş bir örnek için, karakter sırasını tahmin etmemiz gerektiğini varsayın: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z …

15 lstm  backpropagation  mini-batch-gradient-descent 

Bu soruya küçük bir alt sorum var . Maksimum havuzlama katmanı boyunca geri yayılırken, gradyanın, max olarak seçilen bir önceki katmandaki nöronun tüm gradyanı alacağı şekilde geri yönlendirildiğini anlıyorum. % 100 emin olmadığım bir sonraki katmandaki degrade havuz katmanına nasıl yönlendirilir. İlk soru, aşağıdaki görüntü gibi, tamamen bağlı bir katmana …

14 machine-learning  neural-network  convnet  backpropagation 

CNN için kaç ağırlık ve önyargı gerektiğini anlamaya çalışıyorum. Diyelim ki (3, 32, 32) bir resmim var ve (32, 5, 5) bir filtre uygulamak istiyorum. Her özellik haritası için 5x5 ağırlığım var, bu yüzden 3 x (5x5) x 32 parametrem olmalı. Şimdi önyargı eklemem gerekiyor. Sadece (3 x (5x5) + …

11 deep-learning  convnet  backpropagation