«neural-networks» etiketlenmiş sorular

Eğitim kaybım azaldı ve sonra tekrar yükseldi. Bu çok garip. Çapraz doğrulama kaybı, eğitim kaybını izler. Ne oluyor? Aşağıdaki gibi iki yığılmış LSTMS var (Keras'larda): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') 100 dönem için eğitiyorum: model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2) 127803 …

26 machine-learning  neural-networks  loss-functions  lstm 

İkili sınıflandırma yapmak istediğimi varsayalım (bir şey A veya B sınıfına aittir). Bunu bir sinir ağının çıkış katmanında yapmanın bazı olasılıkları vardır: 1 çıkış düğümü kullanın. Çıkış 0 (<0,5) A sınıfı kabul edilir ve 1 (> = 0,5) B sınıfı (sigmoid olması durumunda) kabul edilir. 2 çıkış düğümü kullanın. Giriş, …

26 machine-learning  classification  neural-networks 

Sinir ağları ile regresyon ilgileniyorum. Sıfır gizli düğümlü + atlama katmanı bağlantılı sinir ağları doğrusal modellerdir. Peki ya aynı sinir ağları ama gizli düğümleri var? Skip-layer bağlantılarının rolü ne olabilir merak ediyorum? Sezgisel olarak, atlama tabakası bağlantılarını eklerseniz, son modelin bir doğrusal model + bazı doğrusal olmayan parçaların toplamı olacağını …

26 regression  machine-learning  neural-networks  deep-learning 

Merak ediyorum, neden ilkeli / teorik makine öğrenmesi bu kadar önemli? İnsan olarak kişisel bir bakış açısıyla, ilkeli Makine Öğreniminin neden önemli olduğunu anlayabiliyorum: insanlar ne yaptıklarını anlamak gibi, güzelliği ve anlayışı memnuniyetle buluruz. kuramsal bakış açısından matematik eğlencelidir şeylerin tasarımını yönlendiren ilkeler olduğunda, rastgele tahminde bulunmak, garip deneme ve …

25 machine-learning  neural-networks  conv-neural-network  theory 

Projemde derin öğrenme kullanmak istiyorum. Birkaç kağıt okudum ve bana bir soru geldi: evrişim sinir ağı ile derin öğrenme arasında bir fark var mı? Bunlar aynı mı, yoksa büyük farkları var mı ve hangisi daha iyi?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Bu soru edildi göç o Çapraz doğrulanmış üzerinde yanıtlanabilir çünkü yığın taşması gelen. 7 yıl önce göç etti . Sinir Ağının görüntü tanımada nasıl çalıştığını öğrenmeye çalışıyorum. Bazı örnekler gördüm ve daha fazla kafam karıştı. 20x20'lik bir görüntünün harf tanıma örneğinde, her pikselin değerleri giriş katmanı haline gelir. 400 nöron. …

25 machine-learning  neural-networks  image-processing 

Dışbükey bir maliyet fonksiyonu göz önüne alındığında, optimizasyon için SGD kullanılarak, optimizasyon işlemi sırasında belirli bir noktada bir degradeye (vektör) sahip olacağız. Sorum şu ki, dışbükeydeki noktaya göre, gradyan yalnızca işlevin en hızlı yükseldiği / azaldığı yönü işaret ediyor mu, yoksa gradyan her zaman maliyet işlevinin en uygun / en …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Kapalı . Bu soru görüşe dayalı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu güncelleyin, böylece bu yayını düzenleyerek gerçekleri ve alıntıları yanıtlayabileceksiniz . 2 yıl önce kapandı . Genel olarak derin öğrenme ve sinir ağları ile ilgili temel problem. Eğitim verilerine uygun çözümler sonsuzdur. Sadece …

25 machine-learning  neural-networks  svm  deep-learning 

Avantajları nelerdir, neden biri yan yana yığılmış birden fazla LSTM'yi derin ağda kullanmalı? Bir giriş dizisini tek bir giriş olarak göstermek için bir LSTM kullanıyorum. Öyleyse bir kez bu tek temsilciliği elde ettiğimde neden tekrar geçeyim? Bunu soruyorum çünkü bunu bir doğal dil oluşturma programında gördüm.

25 classification  neural-networks  deep-learning  lstm  rnn 

Doğrultulmuş doğrusal birimlerin (ReLU) aktivasyon fonksiyonları neden doğrusal değildir? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Girdi pozitif olduğunda doğrusaldırlar ve derin ağların temsili gücünü açmak benim anlayışımdan doğrusal olmayan aktivasyonlar bir zorunluluktur, aksi takdirde tüm ağ tek bir katmanla temsil edilebilir.

25 neural-networks  deep-learning 

Deep Learning için Adam optimizerini okuyordum ve Bengio, Goodfellow ve Courville tarafından yazılan Deep Learning adlı yeni kitapta şu cümleyi okudum: Adam genel olarak hiper parametrelerinin seçimine oldukça sağlam olarak kabul edilir, ancak öğrenme oranının bazen önerilen varsayılan değerden değiştirilmesi gerekir. eğer bu doğruysa, bu büyük bir sorun çünkü hiper …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Sorumun / başlığımın çok belirgin olmadığını biliyorum, bu yüzden onu netleştirmeye çalışacağım: Yapay sinir ağları nispeten katı tasarımlara sahiptir. Elbette, genel olarak, biyolojiden etkilenirler ve gerçek sinir ağlarının matematiksel bir modelini oluşturmaya çalışırlar, ancak gerçek sinir ağlarının anlayışımız kesin modeller oluşturmak için yetersizdir. Bu nedenle, gerçek sinir ağlarının "yakınına" gelen …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

Bu ikisi gibi 50.000 imge var: Veri grafiklerini gösteriyorlar. Bu görüntülerden özellikler çıkarmak istedim, böylece Theano (deeplearning.net) tarafından sağlanan otomatik kodlayıcı kodunu kullandım. Sorun şu ki, otomatik kodlayıcılar herhangi bir özellik öğrenmiyor gibi görünüyor. RBM'yi denedim ve aynı. MNIST veri kümesi hoş özellikler sağlıyor ancak verilerim hiçbir sonuç vermedi. Aşağıdaki …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

Gelen Alex Krizhevsky, ve diğ. Derin evrişimli sinir ağları ile Imagenet sınıflandırması , her katmandaki nöron sayısını numaralandırır (aşağıdaki şemaya bakınız). Ağın girişi 150.528 boyutludur ve ağın kalan katmanlarındaki nöron sayısı 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000 arasında verilir. 3B Görünüm İlk kattan sonraki tüm katmanlar için nöronların sayısı açıktır. Nöronları hesaplamanın basit bir …

24 neural-networks  deep-learning  conv-neural-network 

Dropout ve drop connect arasındaki fark nedir? AFAIK, bırakma, eğitim sırasında gizli düğümleri rastgele düşürür, ancak onları testte tutar ve damla bağlantılarını düşürür. Ancak bağlantıları düşürmek gizli düğümleri düşürmekle eşdeğer değil mi? Düğümler (veya bağlantılar) sadece bir ağırlık seti değil mi?

24 neural-networks  dropout