«deep-learning» etiketlenmiş sorular

Stanford kursuna atıfta bulunan Görsel Tanıma Konvolüsyonel Sinir Ağları ile ilgili notlara bakınız. “Maalesef, ReLU üniteleri eğitim sırasında kırılgan olabilir ve“ ölebilir ”. Örneğin, bir ReLU nöronundan akan büyük bir gradyan ağırlığın, nöronun herhangi bir veri noktasında tekrar aktive olmayacağı şekilde güncellenmesine neden olabilir. gerçekleşirse, ünite boyunca akan gradyan sonsuza …

119 machine-learning  neural-network  deep-learning 

Bir GRU ve bir LSTM arasındaki temel fark, bir GRU’nun iki kapısına ( sıfırlama ve güncelleme kapıları) sahip olmasıdır; oysa, bir LSTM’de üç kapı ( giriş , çıkış ve unutma kapıları) vardır. LSTM modeli ile ağ üzerinde daha fazla kontrole sahip olduğumuzda neden GRU'dan faydalanıyoruz (üç kapımız olduğu gibi)? Hangi …

95 neural-network  deep-learning 

Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Bir makale yazarken / sinir ağları ile ilgili bir konu hakkında sunum yaparken, genellikle ağ mimarisi görselleştirilir. Ortak mimarileri otomatik olarak görselleştirmek için iyi / basit yollar nelerdir?

79 machine-learning  neural-network  deep-learning  visualization 

Modelimi oluşturdum. Şimdi araştırma makalem için ağ mimarisi şemasını çizmek istiyorum. Örnek aşağıda gösterilmiştir:

78 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Uğraştığım sorun zaman serisi değerlerini tahmin etmektir. Bir seferde bir zaman serisine bakıyorum ve örneğin girdi verilerinin% 15'ine dayanarak gelecekteki değerlerini tahmin etmek istiyorum. Şimdiye kadar iki modelle karşılaştım: LSTM (uzun kısa süreli hafıza; tekrarlayan sinir ağları sınıfı) ARİMA İkisini de denedim ve bunlarla ilgili bazı makaleler okudum. Şimdi ikisini …

64 time-series  deep-learning  rnn  prediction 

Artık Ağın (ResNet) O'nun normal kullanıma hazırlanmasını popüler yaptığını biliyordum. ResNet'te He normal başlatma, ilk katman He üniforma başlatmayı kullanır. ResNet makalesine ve "Doğrultucuların Derinliklerine Çıkarma" kağıdına baktım. Ayrıca: Toplu Normalleştirme, çok daha yüksek öğrenme oranları kullanmamızı ve başlatma konusunda daha az dikkatli olmamızı sağlar. Toplu Normalleştirme makalesinin özetinde, Toplu …

51 neural-network  deep-learning  normalization 

Yapay sinir ağları (NN) ile başladığımda, asıl sorun olarak fazla donmakla savaşmam gerektiğini düşündüm. Ancak uygulamada NN'imin% 20 hata oranı engelini aşmasını bile sağlayamıyorum. Rasgele ormandaki puanımı bile geçemiyorum! NN'in verilerdeki trendleri yakalamaya başlaması için ne yapılması gerektiği konusunda çok genel veya çok genel bir tavsiye arıyorum. NN uygulanması için …

50 neural-network  deep-learning 

Tek bir istiflenmiş LSTM'nin kaç parametresi vardır? Parametre sayısı, gereken eğitim örneği sayısına daha düşük bir sınır uygular ve ayrıca eğitim süresini etkiler. Bu nedenle, parametre sayısını bilmek LSTM'leri kullanan eğitim modelleri için kullanışlıdır.

43 deep-learning  rnn 

LSTM'leri ve zaman serileri için kullanımlarını biraz okumakta ve aynı zamanda ilginç fakat zor olmuştur. Anlamakta güçlük çektiğim bir şey, zaman serisi özelliklerinin bir listesine ek özellikler eklemeye yaklaşmak. Veri kümenizi şu şekilde ayarladığınızı varsayalım: t-3, t-2, t-1 Çıkış Şimdi çıktınızı etkileyen bir özelliğiniz olduğunu bilmenizi sağlar, ancak bunun zaman …

42 machine-learning  neural-network  deep-learning  time-series 

Derin Öğrenme modelleri durumunda, olağan uygulamanın, birkaç eğitim dönemi boyunca mini partiler (genellikle küçük bir, 32/64) uygulamak olduğunu sık sık okurum. Bunun arkasındaki nedeni gerçekten anlayamıyorum. Yanılmıyorsam, toplu iş boyutu, model tarafından bir eğitim yinelemesi sırasında görülebilen eğitim örneği sayısıdır; ve eğitim örnekleri, eğitim durumlarının her biriyle görüldüğünde, devir tam …

40 machine-learning  deep-learning 

2-3 milyon makale içeren büyük bir LSTM ağı eğitmek üzereyim ve Bellek Hatalarıyla mücadele ediyorum (AWS EC2 g2x2large kullanıyorum). Bir çözümün bunu azaltmak olduğunu öğrendim batch_size. Ancak, bu parametrenin yalnızca bellek verimliliği sorunlarıyla mı ilgili olduğunu veya sonuçlarımı etkileyip etkilemediğinden emin değilim. Nitekim, batch_sizeörneklerde kullanılanın ikisinin de gücü olduğunu, anlamadığım …

38 deep-learning  keras 

Ben sorun arasındaki farkı anlamak yaşıyorum çeviri equivariant ve çeviri değişmez . Derin Öğrenme kitabında . MIT Press, 2016 (I. Goodfellow, A. Courville ve Y. Bengio), evrişimsel ağlarda bulabilirsiniz: [...] belirli parametre paylaşım biçimi, katmanın çeviriye eşdeğerlik denilen bir özelliğe sahip olmasına neden olur [...] havuzlama, gösterimin girdilerin küçük çevirileri …

38 neural-network  deep-learning  convolution 

Farklı toplulukların kullanıcılarının, alanları hakkında komik şeyler teklif etmeleri alışılmış bir şeydi. Makine Öğrenimi, Derin Öğrenme, Veri Bilimi ve her gün karşılaştığınız şeyler hakkındaki komik şeylerinizi paylaşmak eğlenceli olabilir!

35 machine-learning  neural-network  deep-learning 

Diyelim ki sınıflandırma için bir NN yapıyorum. Son katman, softmax aktivasyonuna sahip bir Yoğun katmandır. Sınıflandırmam gereken beş farklı sınıfım var. Tek bir eğitim örneğin varsayalım, true labelolduğu [1 0 0 0 0]tahminlerin olmak iken [0.1 0.5 0.1 0.1 0.2]. Bu örnek için çapraz entropi kaybını nasıl hesaplardım?

35 machine-learning  deep-learning