«neural-networks» etiketlenmiş sorular

Sinir ağlarının şimdiye kadar gördüğüm örneklerinin çoğunda, ağ sınıflandırma için kullanılır ve düğümler sigmoid işleviyle dönüştürülür. Ancak, sürekli bir gerçek değer üretmek için bir sinir ağı kullanmak istiyorum (gerçekçi olarak çıktı genellikle -5 ila +5 aralığında olacaktır). Sorularım: 1. Should I still scale the input features using feature scaling? What …

14 regression  neural-networks 

Zaten cevaplanan bir sorudan sonra ( Tek Katmanlı ileri beslemeli ağdan ağırlık önemini ayıklama ) Sinir ağlarındaki girdilerin alaka düzeyi hakkında çıkarım arıyorum. İlgilenilen çıkış düğümünden katmanlar arasında geriye doğru gidilerek girdi önemini yeniden yapılandırmanın zor veya zaman alıcı olabileceği derin bir ağ göz önüne alındığında, sinir ağı için duyarlılık …

14 neural-networks  python  feature-selection  sensitivity-analysis 

Tüm giriş düğümleri (geri yayılımlı olsun veya olmasın) için ileri beslemeli bir ağ için girdi olarak, ayrık veya sürekli normalize edilmiş değerlere (örn. (1; 3) göre ikili değerleri (0/1) tercih etmenin iyi bir nedeni var mı? Tabii ki, sadece her iki formata dönüştürülebilecek girdilerden bahsediyorum; örneğin, birden fazla değer alabilen …

14 neural-networks 

Özellikle kaggle yarışmaları bağlamında, modelin performansının özellik seçimi / mühendisliği ile ilgili olduğunu fark ettim. Daha geleneksel / eski okul ML algoritmalarıyla uğraşırken bunun neden olduğunu tam olarak anlayabilsem de, derin sinir ağlarını kullanırken neden böyle olacağını anlamıyorum. Derin Öğrenme kitabından alıntı: Derin öğrenme, temsili öğrenmedeki bu merkezi problemi, daha …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Ben ünlü "Derin Takviye Öğrenme ile Atari Oynama" ( pdf ) adlı makaleyi anlamaya çalışıyorum . Bir dönem ve bölüm arasındaki farktan emin değilim . algoritmada , dış döngü bölümlerin üzerindedir , Şekil x ekseni çağ olarak etiketlenmiştir . Takviye öğrenme bağlamında, bir çağın ne anlama geldiğinden emin değilim. Bir …

14 neural-networks  terminology  reinforcement-learning  q-learning 

Bazı derslerde, "Xavier" kilo başlatmanın (kağıt: Derin ileri beslemeli sinir ağlarını eğitmenin zorluğunu anlamanın ) sinir ağlarının ağırlıklarını başlatmanın etkili bir yolu olduğunu ifade ettim . Tamamen bağlı katmanlar için bu öğreticilerde temel bir kural vardı: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) = \frac{1}{n_{in}} …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Sınıflandırma için bir sinir ağı eğitmeye çalışıyorum, ancak sahip olduğum etiketler oldukça gürültülü (etiketlerin yaklaşık% 30'u yanlış). Çapraz entropi kaybı gerçekten işe yarıyor, ama bu durumda daha etkili olan alternatifler olduğunu merak ediyordum. veya çapraz entropi kaybı optimal midir? Emin değilim ama çapraz entropi kaybını "kırpma" düşünüyorum, böylece bir veri …

14 machine-learning  neural-networks  loss-functions  noise 

Evrensel yaklaşım teoremi, sinir ağları için oldukça ünlü bir sonuçtur, temelde bazı varsayımlar altında, bir fonksiyonun herhangi bir doğruluk içinde bir sinir ağı tarafından eşit olarak tahmin edilebileceğini belirtir. Evrişimli sinir ağları için geçerli bazı benzer sonuçlar var mı?

14 neural-networks  conv-neural-network  approximation 

34 giriş sütun ve 8 çıkış sütun içeren bir veri kümesi var. Sorunu çözmenin bir yolu, 34 girişi almak ve her bir çıkış sütunu için bireysel regresyon modeli oluşturmaktır. Bu sorunun özellikle Sinir Ağı kullanılarak sadece bir model kullanılarak çözülüp çözülemeyeceğini merak ediyorum. Çok katmanlı bir algılayıcı kullandım, ancak bunun …

14 neural-networks  deep-learning  multivariate-regression 

Yaklaşık 20 sütun (20 özellik) olan ham veri var. Bunlardan on tanesi sürekli veridir ve 10 tanesi kategoriktir. Kategorik verilerin bazıları 50 farklı değere sahip olabilir (ABD Devletleri). Verileri önceden işledikten sonra 10 sürekli sütun 10 hazırlanmış sütun haline gelir ve 10 kategorik değer 200 tek etkin kodlanmış değişken gibi …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

DeepMind'in 2015 derin takviye öğrenimi makalesinde, "Önceki RL'yi sinir ağları ile birleştirmeye yönelik önceki girişimlerin dengesiz öğrenme nedeniyle büyük ölçüde başarısız olduğunu" belirtmektedir. Bu makalede, gözlemler arasındaki korelasyonlara dayanarak bunun bazı nedenleri listelenmektedir. Lütfen birisi bunun ne anlama geldiğini açıklayabilir mi? Sinir ağının eğitimde mevcut olan, ancak testte bulunmayan bazı …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Bir sinir ağını "kandırmak" için el ile çelişen görüntüler hakkında bazı makaleler okudum (aşağıya bakınız). Bunun nedeni, ağların yalnızca koşullu olasılık modellemesi olduğu için mi? Bir ağ ortak olasılığını modelleyebiliyorsa , bu gibi durumlar yine de olur mu?p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) Tahminimce yapay olarak üretilen görüntüler eğitim verilerinden farklı, bu yüzden düşük olasılıkta …

13 machine-learning  neural-networks  deep-learning 

Kanımca, ilişkili girdi verileri nöral ağlarda aşırı sığmaya yol açmalıdır çünkü ağ korelasyonu örneğin verilerdeki gürültüyü öğrenir. Bu doğru mu?

13 correlation  neural-networks  overfitting 

Bir ileri beslemeli sinir ağında bağlantı ağırlıkları başlatılırken, öğrenme algoritmasının kırılamayacağı simetrilerden kaçınmak için bunları rastgele başlatmak önemlidir. Çeşitli yerlerde gördüğüm öneri (örneğin, TensorFlow'un MNIST eğitiminde ), kesik normal dağılımı, standart sapması kullanarak kullanmaktır ; burada , nöron tabakası verildi.1N−−√1N\dfrac{1}{\sqrt{N}}NNN Standart sapma formülünün geri çoğaltılmış gradyanların çok hızlı çözülmemesini veya …

13 neural-networks  backpropagation  weights  truncated-normal 

Metin sınıflandırmak için bir lstm ve ileri beslemeli ağ kullanıyorum. Metni tek sıcak vektörlere dönüştürüyorum ve her birini lstm'ye besliyorum, böylece tek bir gösterim olarak özetleyebiliyorum. Sonra diğer ağa besliyorum. Ama lstm'yi nasıl eğitebilirim? Metni sıralamak istiyorum - eğitim yapmadan mı beslemeliyim? Ben sadece sınıflandırıcı giriş katmanına besleyebilir tek bir …

13 classification  neural-networks  deep-learning  lstm