«deep-learning» etiketlenmiş sorular

Toplu normalizasyon (BN) kağıdını (1) okuyordum ve modelin doğruluğunu izlemek için hareketli ortalamalar kullanma ihtiyacını anlamadım ve bunun doğru bir şey olduğunu kabul etsem bile anlamıyorum tam olarak ne yaptıklarını. Anladığım kadarıyla (ki bu benim yanlışım) makalede, modelin eğitimi bittikten sonra istatistiklerini mini parti yerine nüfus istatistiklerini kullandığından bahsediliyor. Tarafsız …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Arasında Tensorflow en uygulamasında ResNet , onlar, ben de başlatıcısı popüler xavier bulmak varyans ölçeklendirme başlatıcı kullanmak bulabilirsiniz. Bu konuda çok fazla deneyimim yok, bu pratikte daha iyi mi?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Tüm medya bugünlerde derin öğrenme hakkında konuşup hype ile, bazı temel şeyler okudum. Verilerdeki kalıpları öğrenmenin sadece başka bir makine öğrenme yöntemi olduğunu buldum. Ama sorum şu: bu yöntem nerede ve neden parlıyor? Neden şu anda bu konudaki tüm konuşmalar? Yani yaygara ne hakkında?

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

Derin bir sinir ağı modelim var ve bunu yaklaşık 100.000 örnekten oluşan veri kümemde eğitmem gerekiyor, doğrulama verilerim yaklaşık 1000 örnek içeriyor. Her bir örneği eğitmek zaman aldığından (her örnek için yaklaşık 0,5s) ve aşırı sığmayı önlemek için, gereksiz hesaplamayı önlemek için erken durdurma uygulamak istiyorum. Ancak sinir ağımı erken …

20 neural-networks  deep-learning 

Derin ve sığ sinir ağlarının eğitiminde, gradyan yöntemleri (örneğin, gradyan inişi, Nesterov, Newton-Raphson) neden diğer meta-sezgilerin aksine yaygın olarak kullanılmaktadır? Meta-sezgisel olarak, yerel bir minimada sıkışmayı önlemek için geliştirilen benzetilmiş tavlama, karınca kolonisi optimizasyonu vb. Yöntemleri kastediyorum.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Varyasyonel oto-kodlayıcının ve normal (deterministik) oto-kodlayıcının temel yapısını ve bunların arkasındaki matematiği anlıyorum, ama ne zaman ve neden bir tip otomatik kodlayıcıyı diğerine tercih ederim? Aklıma gelen tek şey, varyasyonel oto-kodlayıcının gizli değişkenlerinin önceki dağılımı, gizli değişkenleri örneklememize ve sonra yeni görüntüyü oluşturmamıza izin veriyor. Varyasyonel otoenkoderin stokastikliğinin deterministik otoenkodere …

20 deep-learning  autoencoders  variational-bayes 

Önyargı düğümünün modern sinir ağlarının etkinliği için ne kadar önemli olduğunu merak ediyorum. Sadece birkaç girdi değişkeni olan sığ bir ağda önemli olabileceğini kolayca anlayabiliyorum. Bununla birlikte, derin öğrenme gibi modern sinir ağları, belirli bir nöronun tetiklenip tetiklenmediğine karar vermek için genellikle çok sayıda girdi değişkenine sahiptir. Bunları örneğin LeNet5 …

19 neural-networks  deep-learning  bias-node 

Katlamalı ve havuzlama katmanlarını anlıyorum, ancak CNN'lerde tamamen bağlı bir katmanın nedenini göremiyorum. Önceki katman neden çıktı katmanına doğrudan bağlı değil?

19 neural-networks  deep-learning  conv-neural-network 

'Transfer öğrenimi' ve 'alan adı uyarlaması' arasında herhangi bir fark var mı? Bağlam hakkında bir bilgim yok, ama benim anlayışım bazı veri setimiz 1 ve üzerinde çalıştığımız, bundan sonra modelimizi sıfırdan yeniden eğitmeden uyarlamak istediğimiz, 'transfer öğrenimi' ve 'alan adı uyarlaması' bu sorunun çözülmesine yardımcı olur. Evrişimli Sinir Ağları alanına …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

En yaygın evrişimli sinir ağları, çıktı özelliklerinin boyutlarını azaltmak için havuz katmanları içerir. Neden aynı şeyi kıvrımlı katmanın adımını artırarak elde edemedim? Havuz katmanını gerekli kılan nedir?

18 deep-learning  conv-neural-network  pooling 

Lisansüstü okuldaki fizik profesörlerim ve Noble ödüllü Feynman, harmonik osilatör, sarkaç, topaç ve kara kutu gibi fizikteki temel kavramları ve yöntemleri göstermek için her zaman oyuncak modelleri dediklerini sunacaklardı. Sinir ağlarının uygulanmasının altında yatan temel kavram ve yöntemleri göstermek için hangi oyuncak modelleri kullanılır? (Referanslar lütfen.) Bir oyuncak modeli ile, …

18 machine-learning  neural-networks  deep-learning 

Ben (ampirik veya teorik olarak) karşılaştırmak ve tartışmak kağıtları veya metin arıyorum: Arttırılması ve karar ağaçları gibi algoritmalar Rasgele Orman veya AdaBoost ve GentleBoost karar ağaçlarına uygulanmıştır. ile Kısıtlı Boltzmann Makineleri , Hiyerarşik Geçici Bellek , Konvolüsyonel Sinir Ağları , vb. Gibi derin öğrenme yöntemleri . Daha spesifik olarak, bu …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Bir çok öğretici çevrimiçi degrade inişi hakkında konuşuyor ve neredeyse hepsi sabit bir adım boyutu kullanıyor (öğrenme hızı ). Neden satır aramanın bir faydası yoktur (satır izleme veya tam satır araması gibi)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Bir çağı, mevcut tüm eğitim örneklerinin tamamından geçmiş olarak ve mini-parti boyutunu, degradeyi azaltmak için gereken ağırlık / sapma güncellemelerini bulmak için ortalama örnek sayısı olarak tanımlarız. Benim sorum, bir çığır içindeki her bir mini partiyi üretmek için bir dizi eğitim örneği yerine getirilmememiz gerekip gerekmediğidir. Dönem sonu gereksinimini karşılamak …

18 machine-learning  neural-networks  optimization  deep-learning 

CNN ile ilgili kafamı karıştıran birkaç sorum var. 1) CNN kullanılarak çıkarılan özellikler ölçek ve rotasyonla değişmez mi? 2) Verilerimizle katıştırmak için kullandığımız çekirdekler literatürde zaten tanımlanmış mı? bu çekirdekler nasıl? her uygulama için farklı mıdır?

18 neural-networks  deep-learning  conv-neural-network