«deep-learning» etiketlenmiş sorular

İşte Ian Goodfellow'un Deep Learning kitabında okuduğum bir şey . Sinir ağları bağlamında, "L2 parametre normu cezası genellikle ağırlık azalması olarak bilinir. Bu düzenleme stratejisi ağırlıkları başlangıç ​​noktasına yakınlaştırır [...]. Daha genel olarak, parametreleri herhangi bir noktaya yakın olacak şekilde düzenleyebiliriz ancak model parametrelerini sıfıra doğru düzenlemek çok daha yaygındır. …

11 machine-learning  neural-networks  deep-learning  regularization 

Son zamanlarda, Artık Sinir ortaya çıktığını gördük, burada, her kat, bir hesaplama modülü ve katmanın girişini koruyan katmanın çıktısı gibi bir kısayol bağlantısından oluşur : cicic_iyi+1=ci+yiyi+1=ci+yi y_{i+1} = c_i + y_i Ağ, kalan özelliklerin izin verir ve kaybolan gradyan sorununa karşı daha sağlam olmasının yanı sıra son teknoloji performansa ulaşarak …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Word2Vec algoritmasının atlama gram modelini anlamada sorunlar yaşıyorum. Sürekli kelime torbasında, bağlam kelimelerinin Sinir Ağı'na nasıl "sığabileceğini" görmek kolaydır, çünkü tek bir sıcak kodlama gösterimlerinin her birini W giriş matrisi ile çarptıktan sonra temel olarak ortalamalandırırsınız. Bununla birlikte, atlama-gram söz konusu olduğunda, giriş kelimesi vektörünü yalnızca bir sıcak kodlamayı giriş …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Bir sayı vektörü girdi olarak alan ve çıktı olarak bir sınıf etiketi veren bir sınıflandırıcı öğrenmek istediğimizi varsayalım. Egzersiz verilerim çok sayıda girdi-çıktı çiftinden oluşuyor. Ancak, bazı yeni veriler üzerinde test yapmaya geldiğimde, bu veriler genellikle sadece kısmen tamamlanır. Örneğin, giriş vektörü 100 uzunluğundaysa, elemanların sadece 30'una değerler verilebilir ve …

11 machine-learning  classification  neural-networks  deep-learning 

Belirli bir katmandaki etkinleştirme haritaları, o katmanın filtrelerine nasıl bağlanır? Filtre ve aktivasyon haritası arasında kıvrımlı bir işlemin nasıl yapılacağını sormuyorum, bu iki bağlantının türünü soruyorum. Örneğin, tam bağlantı yapmak istediğinizi varsayalım. Belirli bir katmanda f sayıda filtre ve n adet etkinleştirme haritası var. Bir sonraki katmandaki f * n …

11 machine-learning  deep-learning  conv-neural-network 

Sinir ağına sahip bir otomatik kodlayıcı uygularken, çoğu insan aktivasyon fonksiyonu olarak sigmoid kullanacaktır. Bunun yerine ReLU kullanabilir miyiz? (ReLU'nun üst sınırda bir sınırı olmadığından, sigmoid kullanıldığında otomatik kodlayıcı için kısıtlanmış kriterlerin aksine, temel olarak giriş görüntüsünün 1'den büyük piksel olabileceği anlamına gelir).

11 machine-learning  neural-networks  deep-learning  autoencoders 

Oldukça popüler bir " ADVERSARIAL ÖRNEKLERİ AÇMAK VE SÜRDÜRMEK " makalesini uyguluyordum ve makalede, olumsuz bir objektif işlevi eğitiyor J '' (θ) = αJ (θ) + (1 - α) J '(θ). Α'ya hiperparametre gibi davranır. a, 0,1, 0,2, 0,3 vb. olabilir. Bu özel kağıttan bağımsız olarak, merak ediyorum, neden parametrelerimize …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

Derin Üreten Modeller için Otomatik Kodlama Varyasyonel Bayileri ve Stokastik Backpropagation arasındaki fark nedir ? Her iki yöntemdeki çıkarım aynı sonuçlara yol açar mı? Her iki yazar grubunun birbirini göstermesine rağmen, iki yöntem arasında açık bir karşılaştırma olduğunun farkında değilim.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Ben seq2seq modelleme için kodlayıcı-kod çözücü mimarisini tanıttı Cho 2014 kağıt üzerinde çalışıyorum . Bu makalede, uzunluğundaki bir giriş ve uzunluğundaki çıkışı için kayıp fonksiyonu olarak girdi verilen çıkışın (ya da negatif log olabilirliği) olasılığını kullanıyor görünmektedir :M y NxxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | …

10 deep-learning  loss-functions  rnn 

Sinir ağı ve derin öğrenme arasındaki fark açısından, daha fazla katman dahil, büyük veri seti, eğitim karmaşık modeli mümkün kılmak için güçlü bilgisayar donanımı gibi çeşitli öğeleri listeleyebiliriz. Bunların yanı sıra NN ve DL arasındaki farkla ilgili daha ayrıntılı bir açıklama var mı?

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

Sinir ağının derinliği ile öğrenme hızı arasında temel bir kural var mı? Ağ ne kadar derin olursa, öğrenme oranının o kadar düşük olması gerektiğini fark ettim. Bu doğruysa, neden böyle?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

Sinir ağını belirli bir tarzda resim çizmek için eğitmek mümkün mü? (Bu yüzden bir görüntü alır ve eğitildiği bir tarzda yeniden çizer.) Böyle bir şey için onaylanmış bir teknoloji var mı? DeepArt algoritmasını biliyorum. Ana görüntüyü belirli bir desenle doldurmak iyidir (örneğin, vangoghify görüntüsü), ancak farklı bir şey arıyorum - …

10 machine-learning  neural-networks  deep-learning 

Ne zaman bir RNN veya CNN antrenman yaparken gradyan kırpma yapmak istersiniz? Özellikle ikincisiyle ilgileniyorum. Kırpma için iyi bir başlangıç ​​değeri ne olabilir? (elbette ayarlanabilir)

10 deep-learning 

Konvolüsyonel Sinir Ağları (CNN) ile nesne sınıflandırması gibi bilgisayar görme görevlerinde, ağ çekici bir performans sağlar. Ama evrişimsel katmanlarda parametreleri nasıl ayarlayacağımdan emin değilim. Örneğin 480x480, birinci evrişimsel katman gibi bir gri tonlamalı görüntü ( ), 10 sayısının evrişimsel operatörlerin sayısı anlamına 11x11x10geldiği gibi evrişimsel bir operatör kullanabilir. Soru, CNN'deki …

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

Son WaveNet gazetesinde yazarlar, modellerini genişletilmiş kıvrım katmanlarının yığılmış katmanları olarak adlandırıyorlar. Ayrıca, 'düzenli' konvolüsyonlar ve dilate konvolüsyonlar arasındaki farkı açıklayan aşağıdaki çizelgeleri hazırlarlar. Düzenli kıvrımlar şöyle görünür: Bu, filtre boyutu 2 ve adım 4 olan bir katmandır. Daha sonra, modelleri tarafından kullanılan, genişletilmiş kıvrımlar olarak adlandırdıkları bir mimari gösterirler. …

10 neural-networks  deep-learning  conv-neural-network  tensorflow