«backpropagation» etiketlenmiş sorular

Bir ileri beslemeli sinir ağında bağlantı ağırlıkları başlatılırken, öğrenme algoritmasının kırılamayacağı simetrilerden kaçınmak için bunları rastgele başlatmak önemlidir. Çeşitli yerlerde gördüğüm öneri (örneğin, TensorFlow'un MNIST eğitiminde ), kesik normal dağılımı, standart sapması kullanarak kullanmaktır ; burada , nöron tabakası verildi.1N−−√1N\dfrac{1}{\sqrt{N}}NNN Standart sapma formülünün geri çoğaltılmış gradyanların çok hızlı çözülmemesini veya …

13 neural-networks  backpropagation  weights  truncated-normal 

RNN'lerin (ve özellikle LSTM üniteleri ile) nasıl çalıştığı hakkında temel bilgiye sahibim. Değerlerin akışını düzenleyen bir hücre ve birkaç kapı olan bir LSTM biriminin mimarisi hakkında resimsel bir fikrim var. Bununla birlikte, görünüşe göre, LSTM'nin geleneksel bir RNN zaman içinde geri yayılım kullanarak, eğitim sırasında ortaya çıkan "yok olan ve …

13 neural-networks  lstm  rnn  backpropagation 

Parti normalizasyonu , derin sinir ağlarında önemli performans iyileştirmeleri ile kredilendirilmiştir. İnternetteki birçok malzeme, aktivasyon bazında nasıl uygulanacağını göstermektedir. Zaten matris cebiri kullanarak backprop uyguladım ve yüksek seviyeli dillerde çalıştığımı Rcpp(yoğun matris çarpımı için (ve sonunda forGPU'lara güvenerek) çalışırken , her şeyi kopyalayıp-döngülere başvurmak muhtemelen kodumu yavaşlatacaktır) büyük bir acıya …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Çoktan bire yaklaşım olan duyarlılık analizi yapmak için bir RNN / LSTM kullandığımı varsayalım ( bu bloga bakınız ). Ağ, zaman içinde kesilmiş bir geri yayılım (BPTT) ile eğitilir; burada ağ, her zamanki gibi son 30 adımda açılır. Benim durumumda sınıflandırmak istediğim metin bölümlerimin her biri, açılmakta olan 30 adımdan …

12 neural-networks  deep-learning  natural-language  backpropagation 

Bir partide 10 örnek söylersek, her örnek için kaybı toplayabileceğimizi anlıyorum, ancak backpropagation her örnek için ağırlıkların güncellenmesinde nasıl çalışır? Örneğin: Örnek 1 -> kayıp = 2 Örnek 2 -> kayıp = -2 Bu ortalama 0 (E = 0) kaybıyla sonuçlanır, bu yüzden bu her bir ağırlığı nasıl güncelleyip birleşir? …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Backpropagation kullanarak bir SVM (doğrusal bir şey söylemek, işleri kolaylaştırmak için) mümkün olup olmadığını merak ediyordum? Şu anda, bir yol bloğundayım, çünkü sadece sınıflandırıcının çıktısını şöyle yazmayı düşünebilirim f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + 1 ) ) = sgn …

11 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Şu anda yüzleri tanımak için evrişim sinir ağlarını kullanan bir yüz tanıma yazılımı üzerinde çalışıyorum. Okumalarıma dayanarak, eğitim sırasında zaman kazanmak için evrişimli bir sinir ağının ağırlık paylaştığını topladım. Ancak, bir geri yayılımı nasıl adapte eder, böylece bir evrişim sinir ağında kullanılabilir. Geri çoğaltmada, ağırlıkların eğitilmesi için buna benzer bir …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Ön eğitimin konvansiyonel eğitim ile ilgili bazı sorunlardan kaçınmak için kullanıldığını anlıyorum. Ben bir otoencoder ile backpropagation kullanırsanız, backpropagation yavaş olduğu için zaman sorunları ile karşılaşacağımı biliyorum ve ayrıca yerel optima sıkışmış olabilir ve bazı özellikleri öğrenmek değil. Anlamadığım şey, bir ağı nasıl önişlediğimiz ve ön işlem yapmak için özel …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Stanford NLP derin öğrenme sınıfının yazılı ödev problemlerindeki problemleri yaşıyorum http://cs224d.stanford.edu/assignment1/assignment1_soln 3a'nın cevabını anlamaya çalışıyorum, burada orta kelime için vektörün türevini arıyorlar. Tahmin edilen bir kelime vektörü verildiğini varsayın vcvcv_{c}skipgram için orta kelimeye c karşılık gelir ve word2vec modellerinde bulunan softmax fonksiyonu ile kelime tahmini yapılır. y^Ö= p ( o …

9 self-study  neural-networks  backpropagation  word2vec