«deep-learning» etiketlenmiş sorular

80 boyutlu bir word2vec benzeri temsil kullanarak 128 gizli birimleri ile tek bir katman LSTM kullanarak duygu tahmini için 15000 tweet modelleme. 1 çağdan sonra bir iniş doğruluğu (rastgele% 38 =% 20) alıyorum. Daha fazla eğitim, eğitim doğruluğu tırmanmaya başladığında doğrulama doğruluğunun azalmaya başlamasını sağlar - açık bir aşırı sığdırma …

13 deep-learning  regularization  overfitting  lstm 

Metin sınıflandırmak için bir lstm ve ileri beslemeli ağ kullanıyorum. Metni tek sıcak vektörlere dönüştürüyorum ve her birini lstm'ye besliyorum, böylece tek bir gösterim olarak özetleyebiliyorum. Sonra diğer ağa besliyorum. Ama lstm'yi nasıl eğitebilirim? Metni sıralamak istiyorum - eğitim yapmadan mı beslemeliyim? Ben sadece sınıflandırıcı giriş katmanına besleyebilir tek bir …

13 classification  neural-networks  deep-learning  lstm 

Yoshua Bengio'nun derin öğrenme Kitabı'nı okuyordum ve sayfa 224'te yazıyor: Evrişimli ağlar, katmanlarından en az birinde genel matris çarpımı yerine evrişimi kullanan sinirsel ağlardır. bununla birlikte, "matris çarpımını evrişim ile nasıl değiştireceğimin" matematiksel olarak hassas bir şekilde% 100 emin değildim. Beni gerçekten ilgilendiren, 1D'deki giriş vektörleri için bunu tanımlamaktır ( …

13 machine-learning  neural-networks  deep-learning  convolution 

Son zamanlarda Yann Dauphin ve ark. Saddle-Free Newton adında ilginç bir iniş algoritması getirdikleri, yüksek boyutlu dışbükey olmayan optimizasyonda eyer noktası problemini tanımlama ve saldırı , bu da sinir ağı optimizasyonu için tam olarak uyarlanmış gibi görünür ve eyer noktalarında sıkışmaktan muzdarip olmamalıdır vanilya SGD gibi birinci dereceden yöntemler gibi. …

13 optimization  deep-learning  gradient-descent 

Kombinatoryal optimizasyon problemleri için derin öğrenmeyi kullanmaya yönelik araştırma grupları var mı?

13 optimization  deep-learning 

Bir sürü param için ızgara araması yaptım. İkili sınıflandırma yapan bir Keras sinir ağı için en iyi parametreleri bulmaya çalışıyorum. Çıktı 1 veya 0'dır. Yaklaşık 200 özellik vardır. Bir ızgara araması yaptığımda, bir sürü model ve parametreleri aldım. En iyi model şu parametrelere sahipti: Epochs : 20 Batch Size : …

13 machine-learning  cross-validation  deep-learning  tensorflow  theano 

Stokastik degrade iniş yaparken minibatch boyutu seçimini inceleyen literatür var mı? Deneyimlerime göre, genellikle çapraz doğrulama veya değişen başparmak kuralları kullanılarak bulunan ampirik bir seçim gibi görünüyor. Doğrulama hatası azaldıkça minibatch boyutunu yavaşça arttırmak iyi bir fikir mi? Bunun genelleme hatası üzerinde ne gibi etkileri olur? Son derece küçük bir …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Google Inception modelinin topolojisi şu adreste bulunabilir: Google Inception Netowrk Bu modelde (# 154, # 152, # 145) 3 softmax katmanı olduğunu fark ettim ve bunlardan 2 tanesi bu modelin erken kaçış şekli. Bildiğim kadarıyla, softmax katman nihai çıktı için, neden bu kadar çok var? diğer 2 katmanın amacı nedir?

13 deep-learning  conv-neural-network 

Tüm aktivasyon katmanları için ReLU kullandığımızda, derin evrişimli sinir ağları için negatif ağırlıklara (yeterli dönemden sonra) sahip olmak mümkün müdür?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 10 ay önce kapalı . Kahve, Theano, TensorFlow, keras gibi makine öğrenimi ve derin öğrenme için çok sayıda kütüphane olduğunu biliyorum ... Ama benim için …

13 neural-networks  deep-learning  conv-neural-network 

Parti normalizasyonu , derin sinir ağlarında önemli performans iyileştirmeleri ile kredilendirilmiştir. İnternetteki birçok malzeme, aktivasyon bazında nasıl uygulanacağını göstermektedir. Zaten matris cebiri kullanarak backprop uyguladım ve yüksek seviyeli dillerde çalıştığımı Rcpp(yoğun matris çarpımı için (ve sonunda forGPU'lara güvenerek) çalışırken , her şeyi kopyalayıp-döngülere başvurmak muhtemelen kodumu yavaşlatacaktır) büyük bir acıya …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Sinir ağlarındaki son ilerleme, esas olarak büyüyen tasarım karmaşıklığı ile karakterize edilen bir dizi yeni mimariyle özetlenmektedir. LeNet5'ten (1994) AlexNet'e (2012), Overfeat (2013) ve GoogleLeNet / Inception (2014) ve benzeri ... Makinenin verilere bağlı olarak hangi mimarinin kullanılacağına karar vermesine / tasarlamasına izin vermek için bir girişim var mı?

12 neural-networks  deep-learning 

ML / DL alanından bir yabancı; Tensorflow'a dayanan Udacity Derin Öğrenme kursuna başladı; ödev 3 problemini yapmak 4; öğrenme hızını aşağıdaki yapılandırma ile ayarlamaya çalışmak: Parti büyüklüğü 128 Adım sayısı: 2 dönemi doldurmak için yeterli Gizli katmanların boyutları: 1024, 305, 75 Ağırlık başlatma: std ile normal kesildi. sqrt (2 / …

12 python  machine-learning  tensorflow  deep-learning 

Çoktan bire yaklaşım olan duyarlılık analizi yapmak için bir RNN / LSTM kullandığımı varsayalım ( bu bloga bakınız ). Ağ, zaman içinde kesilmiş bir geri yayılım (BPTT) ile eğitilir; burada ağ, her zamanki gibi son 30 adımda açılır. Benim durumumda sınıflandırmak istediğim metin bölümlerimin her biri, açılmakta olan 30 adımdan …

12 neural-networks  deep-learning  natural-language  backpropagation 

Ian Goodfellow'un Derin Öğrenme kitabında, Bazen, gerçekten önem verdiğimiz kayıp fonksiyonu (örneğin, sınıflandırma hatası) verimli bir şekilde optimize edilebilen bir işlev değildir. Örneğin, beklenen 0-1 kaybını tam olarak en aza indirmek, doğrusal bir sınıflandırıcı için bile tipik olarak inatçıdır (giriş boyutunda üstel). Bu gibi durumlarda, tipik olarak vekil görevi gören …

12 neural-networks  deep-learning  loss-functions