«neural-networks» etiketlenmiş sorular

Geri yayılım ile eğitilmiş bir sinir ağına softmax katmanı eklemeye çalışıyorum, bu yüzden degradesini hesaplamaya çalışıyorum. Softmax çıktısı olup , burada , çıkış nöron numarasıdır. jhj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Eğer türetirsem, o zaman alırım ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Lojistik regresyona benzer. Ancak, sayısal gradyan kontrolüm başarısız olduğu için bu yanlış. Neyi yanlış yapıyorum? Çapraz …

43 neural-networks 

Bir sinir ağındaki maxout birimlerinin ne yaptığını açıklayan var mı? Nasıl performans gösterirler ve geleneksel birimlerden nasıl farklıdırlar? Goodfellow ve arkadaşlarının 2013 "Maxout Network" belgesini okumaya çalıştım . (Profesör Yoshua Bengio'nun grubundan), ama tam olarak anlamadım.

42 machine-learning  neural-networks 

Momentum , ardışık yinelemelere göre ağırlık değişimlerindeki dalgalanmaları azaltmak için kullanılır:αα\alpha D(a), bir hata fonksiyonuw- ağırlıklarının vektörüη- öğrenme oranı.Δ ωben( t + 1 ) = - η∂E∂wben+ α Δ ωben( t ) ,Δωben(t+1)=-η∂E∂wben+αΔωben(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E( w )E(w)E({\bf w})ww{\bf w}ηη\eta Ağırlık azalması , ağırlık …

41 neural-networks  optimization  regularization  gradient-descent 

Neden fiili standart sigmoid fonksiyonu, 11+e−x11+e−x\frac{1}{1+e^{-x}} , (derin olmayan) sinir ağlarında ve lojistik regresyonda çok mu popüler? Neden daha hızlı işlem süresi veya daha yavaş bozunma ile diğer türetilebilir fonksiyonların birçoğunu kullanmıyoruz (bu yüzden kaybolma derecesi daha az gerçekleşir). Sigmoid fonksiyonları hakkında birkaç örnek Wikipedia'da . Yavaş yavaş bozulan ve …

40 logistic  neural-networks  least-squares 

Sadece ayaklarımın istatistiklerini ıslattığım için üzgünüm, eğer bu soru mantıklı gelmiyorsa. Gizli aramaları (haksız kumarhaneler, zar atma vb.) Ve sinir ağlarını tahmin etmek için Markov modellerini ve kullanıcıların arama motorundaki tıklamaları incelemek için kullandım. Her ikisinde de gözlemleri kullanarak çözmeye çalıştığımız gizli durumlar vardı. Anladığım kadarıyla ikisi de gizli durumları …

40 data-mining  algorithms  neural-networks  markov-process 

Rektifiye doğrusal ünite (ReLU) sinir ağları için kaybolma degrade sorununa bir çözüm olarak çeşitli yerlerde övgüde bulundu . Yani aktivasyon fonksiyonu olarak max (0, x) kullanılır. Aktivasyon pozitif olduğunda, bunun, sigmoid aktivasyon fonksiyonundan daha iyi olduğu açıktır, çünkü türetilmesi, büyük x için keyfi olarak küçük bir değer yerine her zaman …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Sinir ağlarını (YSA) kullanarak karmaşık bir sistemin sonucunu tahmin etmeye çalışıyorum. Sonuç (bağımlı) değerler 0 ile 10,000 arasındadır. Farklı giriş değişkenlerinin farklı aralıkları vardır. Tüm değişkenler kabaca normal dağılımlara sahiptir. Antrenmandan önce verileri ölçeklendirmek için farklı seçenekler düşünüyorum. Bir seçenek, her değişkenin ortalama ve standart sapma değerlerini bağımsız olarak kullanarak …

39 machine-learning  neural-networks  multidimensional-scaling 

ImageNet sınıflandırma kâğıtlarında ilk 1 ve ilk 5 hata oranları, bazı çözümlerin başarısını ölçmek için önemli birimlerdir, ancak bu hata oranları nedir? In Deep Evrişimsel Sinir Ağları ile ImageNet Sınıflandırma Krizhevsky ark. Tek bir CNN (sayfa 7) temelli her bir çözümde ilk 5 hata oranına sahip değilken, 5 ve 7 …

38 classification  neural-networks  error  measurement-error  image-processing 

Yapay sinir ağları genellikle karmaşık yapıları nedeniyle "kara kutular" olarak ele alınır. Bu, ideal değildir, çünkü bir modelin şirket içinde nasıl çalıştığını sezgisel bir şekilde kavramak faydalıdır. Eğitimli bir sinir ağının nasıl çalıştığını görselleştirme yöntemleri nelerdir? Alternatif olarak, ağın kolayca sindirilebilir tanımlarını nasıl çıkarabiliriz (örn. Bu gizli düğüm öncelikle bu …

37 data-visualization  neural-networks 

Genel olarak Sinir Ağları ve özellikle de Derin Sinir Ağları bağlamında sıkça gündeme getirdiğim bir sorun, onların "aç veri" olduğudur - büyük bir veri setimiz olmadığı sürece iyi performans göstermiyorlar. hangi ağı eğitmek için. Anladığım kadarıyla, bunun NNets'in, özellikle Deep NNets'in çok fazla serbestlik derecesine sahip olmasından kaynaklanıyor olmasıdır. Dolayısıyla, …

37 neural-networks  deep-learning  regularization 

Konvolüsyonel sinir ağları bağlamında "çekirdek" ve "filtre" terimleri arasındaki fark nedir?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Sinir ağını eğitiyorum ve eğitim kaybı azaldı, ancak doğrulama kaybı çok benzer mimarilere ve verilere sahip referanslara veya deneylere dayanarak beklediğimden çok daha az değil veya azalıyor. Bunu nasıl düzeltebilirim? Soru gelince Sinir ağım öğrenemediğinde ne yapmalıyım? Bu sorunun ilham aldığı soru genel olarak bırakılmıştır, böylece bir sinir ağının genelleme …

36 neural-networks  deep-learning 

Öncelikle, ikili tahminler yapmam gerekirse, tek bir sıcak kodlama gerçekleştirerek en az iki sınıf oluşturmam gerektiğini fark ettim. Bu doğru mu? Ancak, ikili çapraz entropi sadece bir sınıf içeren tahminler için mi? Genelde çoğu kütüphanede (TensorFlow gibi) bulunan kategorik bir çapraz entropi kaybı kullansaydım, önemli bir fark olur mu? Aslında, …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Maliyet fonksiyonu sinir ağı ait ve olduğu iddia edilen dışbükey . Neden böyle olduğunu anlamıyorum, çünkü lojistik regresyonun maliyet fonksiyonuna oldukça benzer olduğunu görüyorum, değil mi?J( W, B )J(W,b)J(W,b) Dışbükey değilse, 2. derece türevi , değil mi?∂J∂W&lt; 0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 GÜNCELLEŞTİRME Aşağıda verilen cevaplar ve @ gung'un yorumuna …

36 neural-networks  loss-functions 

LSTM, kaybolan degrade sorununu önlemek için özel olarak icat edildi. Bunu, aşağıdaki diyagramdaki ( Greff ve diğerleri ) hücre çevresindeki halkaya karşılık gelen Sabit Hata Atlıkarınca (CEC) ile yapması gerekiyordu . (kaynak: deeplearning4j.org ) Ve o kısmın bir çeşit kimlik işlevi olarak görülebildiğini anlıyorum, bu yüzden türev bir ve gradyan …

35 neural-networks  lstm