«optimization» etiketlenmiş sorular

Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Bu yüzden, bu konuda herhangi bir literatür bulamamıştım, ancak düşünce vermeye değer bir şey gibi görünüyor: Yeni gözlemler mevcutsa model eğitimi ve optimizasyondaki en iyi uygulamalar nelerdir? Tahminler bozulmaya başlamadan önce bir modelin yeniden eğitim süresi / sıklığını belirlemenin bir yolu var mı? Parametreler toplanmış veriler için yeniden optimize edilmişse …

28 machine-learning  predictive-modeling  optimization  training 

Sinir ağlarını eğitirken, bir hiperparametre bir minibatch büyüklüğündedir. Ortak seçenekler mini seri başına 32, 64 ve 128 elementtir. Mini partinin ne kadar büyük olması gerektiğine dair kurallar / yönergeler var mı? Eğitim üzerindeki etkisini araştıran yayınlar var mı?

21 neural-network  deep-learning  convnet  optimization 

Degrade inişin minimuma yakınlaşmadığı bir senaryo olup olmadığını merak ediyorum. Degrade inişin her zaman küresel bir optimumluğa yaklaşacağı garanti edilmez. Ayrıca, adım boyutu çok büyükse, optimumdan farklı olabileceğinin de farkındayım. Ancak, bana öyle geliyor ki, eğer bir optimumdan ayrılırsa, sonunda başka bir optimum seviyeye gidecektir. Bu nedenle, gradyan inişinin yerel …

21 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

Bir süredir sinir ağları kullanıyorum. Bununla birlikte, sürekli mücadele ettiğim bir şey, ağı eğitmek için bir iyileştirici seçimidir (backprop kullanarak). Genellikle yaptığım şey sadece biriyle (örneğin standart SGD) başlamak ve diğerlerini hemen hemen rastgele denemek. İyi bir optimizer bulmak için daha iyi (ve daha az rastgele) bir yaklaşım olup olmadığını …

18 neural-network  optimization  backpropagation 

Andrew Ng'i (maalesef artık bulamadım bir videoda) derin öğrenme problemlerindeki yerel minima anlayışının şimdi daha az sorunlu olarak kabul edildikleri için nasıl değiştiği hakkında konuştuğunu duydum. derin öğrenme) kritik noktaların yerel minimadan ziyade eyer noktaları veya platolar olması daha olasıdır. "Her yerel minimumun küresel bir minimum olduğu" varsayımlarını tartışan makaleler …

18 machine-learning  deep-learning  optimization  convergence 

Vikipedi sayfası tırnak "İstatistiksel Öğrenme Unsurları" diyor: Genellikle, özelliklerine ilişkin bir sınıflandırma sorunu için her özellikleri kullanılır.ppp⌊p–√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Bunun oldukça iyi eğitimli bir tahmin olduğunu ve muhtemelen ampirik kanıtlarla doğrulandığını anlıyorum, ancak birinin kare kökü seçmesinin başka nedenleri var mı? Orada meydana gelen istatistiksel bir olay var mı? Bu bir …

14 statistics  random-forest  optimization  evaluation  sampling 

Anladığım kadarıyla, Genetik Algoritmalar çok amaçlı optimizasyon için güçlü araçlardır. Ayrıca, Yapay Sinir Ağlarının (özellikle derin olanların) eğitimi zordur ve birçok sorunu vardır (dışbükey olmayan maliyet fonksiyonları - yerel minima, yok olan ve patlayan gradyanlar vb.). Ayrıca kavramsal olarak GA ile bir NN eğitimi almanın mümkün olduğunu düşünüyorum. Merak ediyordum, …

13 neural-network  optimization  genetic-algorithms 

Gradyan inişinin Adam, Adagrad, RMSProp ve diğer birkaç optimize edici gibi optimize edicilerde kullanılan ana algoritma olup olmadığını bilmek istiyorum.

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

Öyle görünüyor Adaptif Moment Tahmini (Adam) iyileştirici hemen her zaman (daha hızlı ve daha güvenilir bir global minimum ulaşan) sinir ağları eğitimi maliyet fonksiyonunu minimize zaman daha iyi çalışır. Neden her zaman Adem'i kullanmıyorsunuz? Neden RMSProp veya momentum optimize edicileri kullanmaktan rahatsız oluyorsunuz?

13 neural-network  optimization 

R temel işlevi glm()MLE için Fishers Scoring kullanırken glmnet, aynı denklemi çözmek için koordinat iniş yöntemini kullanıyor gibi görünüyor. Koordinat inişi Fisher Scoring'den daha zaman verimlidir, çünkü Fisher Scoring diğer bazı matris işlemlerine ek olarak ikinci dereceden türev matrisini hesaplar. Bu da koordinat inişini aynı görevi O (np) zamanında yapabilir. …

11 machine-learning  r  algorithms  optimization 

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 5 yıl önce kapalı . Çoğu dilde bazı bilimsel bilgi işlem kütüphaneleri var gibi görünüyor. Python var Scipy Rust …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Tensorflow'u biraz araştırma için basit sinir ağları yazmak için kullanıyorum ve antrenman yaparken 'nan' ağırlıkları ile ilgili birçok sorun yaşadım. Optimize ediciyi değiştirme, kaybı, veri boyutunu vb. Değiştirme gibi birçok farklı çözüm denedim, ancak boşuna. Son olarak, öğrenme oranındaki bir değişikliğin ağırlıklarımda inanılmaz bir fark yarattığını fark ettim. .001 (oldukça …

9 machine-learning  python  tensorflow  optimization  gradient-descent