«neural-network» etiketlenmiş sorular

Geçenlerde Jonathan Long, Evan Shelhamer, Trevor Darrell tarafından Semantik Segmentasyon için Tamamen Konvolüsyon Ağları'nı okudum . Dekonvolüsyon katmanlarının ne yaptığını / nasıl çalıştıklarını anlamıyorum. İlgili bölüm 3.3. Örnekleme tersten izlemeli evrişimdir Kalın çıktıları yoğun piksellere bağlamak için başka bir yol enterpolasyondur. Örneğin, basit bilinear enterpolasyon, her bir çıktısını , yalnızca …

188 neural-network  convnet  convolution 

Farklı Makine öğrenme problemlerini çözmek için Yapay Sinir Ağları kullanıyorum. Python ve pybrain kullanıyorum ama bu kütüphane neredeyse üretilmiyor. Python'da başka iyi alternatifler var mı?

130 machine-learning  python  neural-network 

Stanford kursuna atıfta bulunan Görsel Tanıma Konvolüsyonel Sinir Ağları ile ilgili notlara bakınız. “Maalesef, ReLU üniteleri eğitim sırasında kırılgan olabilir ve“ ölebilir ”. Örneğin, bir ReLU nöronundan akan büyük bir gradyan ağırlığın, nöronun herhangi bir veri noktasında tekrar aktive olmayacağı şekilde güncellenmesine neden olabilir. gerçekleşirse, ünite boyunca akan gradyan sonsuza …

119 machine-learning  neural-network  deep-learning 

Bir GRU ve bir LSTM arasındaki temel fark, bir GRU’nun iki kapısına ( sıfırlama ve güncelleme kapıları) sahip olmasıdır; oysa, bir LSTM’de üç kapı ( giriş , çıkış ve unutma kapıları) vardır. LSTM modeli ile ağ üzerinde daha fazla kontrole sahip olduğumuzda neden GRU'dan faydalanıyoruz (üç kapımız olduğu gibi)? Hangi …

95 neural-network  deep-learning 

Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Bir makale yazarken / sinir ağları ile ilgili bir konu hakkında sunum yaparken, genellikle ağ mimarisi görselleştirilir. Ortak mimarileri otomatik olarak görselleştirmek için iyi / basit yollar nelerdir?

79 machine-learning  neural-network  deep-learning  visualization 

Modelimi oluşturdum. Şimdi araştırma makalem için ağ mimarisi şemasını çizmek istiyorum. Örnek aşağıda gösterilmiştir:

78 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Bu, bir süredir beni şaşırtan küçük bir kavramsal sorudur: Bir sinir ağındaki max-havuz katmanından nasıl geri yayılabiliriz? Torch 7'nin nn kütüphanesi için bu eğitici yazıda Max Pooling katmanları ile karşılaştım . Kütüphane, gradyan hesaplamasını soyutlar ve derin bir ağın her katmanı için ileri geçişler. Gradyan hesaplamasının bir max-pooling katmanı için …

62 neural-network  backpropagation 

Geçenlerde Yan LeCuns'in 1x1 konvolüsyonları hakkındaki yorumunu okudum : Konvolüsyonlu Ağlarda, "tamamen bağlantılı katmanlar" diye bir şey yoktur. Yalnızca 1x1 evrişim çekirdekleri ve tam bir bağlantı tablosu olan evrişim katmanları vardır. Çok nadiren anlaşılan bir gerçek, ConvNets'in sabit boyutlu bir girişe sahip olması gerekmiyor. Bunları, tek bir çıkış vektörü üreten …

55 neural-network  convnet 

Tekrarlayan Sinir Ağları (RNN) ve çeşitleri ve Konvolüsyonel Sinir Ağları (CNN) ve çeşitleri hakkında düşünüyordum. Bu iki noktanın söylemesi adil olur mu: Bir bileşeni (görüntü gibi) alt bileşenlere (görüntüdeki nesnenin, örneğin görüntüdeki nesnenin anahatları gibi) parçalamak için CNN'leri kullanın. Alt bileşenlerin birleşimini oluşturmak için RNN'leri kullanın (resim yazısı, metin oluşturma, …

53 machine-learning  neural-network  beginner 

Artık Ağın (ResNet) O'nun normal kullanıma hazırlanmasını popüler yaptığını biliyordum. ResNet'te He normal başlatma, ilk katman He üniforma başlatmayı kullanır. ResNet makalesine ve "Doğrultucuların Derinliklerine Çıkarma" kağıdına baktım. Ayrıca: Toplu Normalleştirme, çok daha yüksek öğrenme oranları kullanmamızı ve başlatma konusunda daha az dikkatli olmamızı sağlar. Toplu Normalleştirme makalesinin özetinde, Toplu …

51 neural-network  deep-learning  normalization 

Yapay sinir ağları (NN) ile başladığımda, asıl sorun olarak fazla donmakla savaşmam gerektiğini düşündüm. Ancak uygulamada NN'imin% 20 hata oranı engelini aşmasını bile sağlayamıyorum. Rasgele ormandaki puanımı bile geçemiyorum! NN'in verilerdeki trendleri yakalamaya başlaması için ne yapılması gerektiği konusunda çok genel veya çok genel bir tavsiye arıyorum. NN uygulanması için …

50 neural-network  deep-learning 

TensorFlow'u özellikle sinir ağları ile yapılan deneyler için kullanıyorum . Her ne kadar bazı deneyler yapmama rağmen (XOR-Problem, MNIST, bazı Regresyon işleri, ...) şimdi, belirli problemler için "doğru" maliyet fonksiyonunu seçmekle uğraşıyorum, çünkü genel olarak bir başlangıç ​​olarak kabul edilebilirim. TensorFlow'a gelmeden önce, tamamen bağlı bazı MLP'leri ve bazı tekrarlayan …

48 machine-learning  python  neural-network  statistics  tensorflow 

Hem PReLU hem de Leaky ReLU'nun olduğunu düşündüm. f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, ancak, dokümanlar her iki işlevi vardır . Sızdıran ReLU LeakyReLU'nun Kaynağı : return K.relu(inputs, alpha=self.alpha) Dolayısıyla ( relu koduna bakınız ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, …

42 neural-network 

LSTM'leri ve zaman serileri için kullanımlarını biraz okumakta ve aynı zamanda ilginç fakat zor olmuştur. Anlamakta güçlük çektiğim bir şey, zaman serisi özelliklerinin bir listesine ek özellikler eklemeye yaklaşmak. Veri kümenizi şu şekilde ayarladığınızı varsayalım: t-3, t-2, t-1 Çıkış Şimdi çıktınızı etkileyen bir özelliğiniz olduğunu bilmenizi sağlar, ancak bunun zaman …

42 machine-learning  neural-network  deep-learning  time-series