«optimization» etiketlenmiş sorular

8
Bir öğrenme oranı seçme
Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için ...

4
Yeni gözlemler mevcutsa, bir model yeniden eğitilmeli mi?
Bu yüzden, bu konuda herhangi bir literatür bulamamıştım, ancak düşünce vermeye değer bir şey gibi görünüyor: Yeni gözlemler mevcutsa model eğitimi ve optimizasyondaki en iyi uygulamalar nelerdir? Tahminler bozulmaya başlamadan önce bir modelin yeniden eğitim süresi / sıklığını belirlemenin bir yolu var mı? Parametreler toplanmış veriler için yeniden optimize edilmişse ...


4
Gradyan inişi her zaman optimum seviyeye yaklaşıyor mu?
Degrade inişin minimuma yakınlaşmadığı bir senaryo olup olmadığını merak ediyorum. Degrade inişin her zaman küresel bir optimumluğa yaklaşacağı garanti edilmez. Ayrıca, adım boyutu çok büyükse, optimumdan farklı olabileceğinin de farkındayım. Ancak, bana öyle geliyor ki, eğer bir optimumdan ayrılırsa, sonunda başka bir optimum seviyeye gidecektir. Bu nedenle, gradyan inişinin yerel ...

3
Sinir ağlarını eğitmek için bir optimize edici seçme yönergeleri
Bir süredir sinir ağları kullanıyorum. Bununla birlikte, sürekli mücadele ettiğim bir şey, ağı eğitmek için bir iyileştirici seçimidir (backprop kullanarak). Genellikle yaptığım şey sadece biriyle (örneğin standart SGD) başlamak ve diğerlerini hemen hemen rastgele denemek. İyi bir optimizer bulmak için daha iyi (ve daha az rastgele) bir yaklaşım olup olmadığını ...

2
derin öğrenme yerel eyer vs eyer puan
Andrew Ng'i (maalesef artık bulamadım bir videoda) derin öğrenme problemlerindeki yerel minima anlayışının şimdi daha az sorunlu olarak kabul edildikleri için nasıl değiştiği hakkında konuştuğunu duydum. derin öğrenme) kritik noktaların yerel minimadan ziyade eyer noktaları veya platolar olması daha olasıdır. "Her yerel minimumun küresel bir minimum olduğu" varsayımlarını tartışan makaleler ...

1
Rastgele Ormanları kullanarak örnekleme yapmak için kaç özellik
Vikipedi sayfası tırnak "İstatistiksel Öğrenme Unsurları" diyor: Genellikle, özelliklerine ilişkin bir sınıflandırma sorunu için her özellikleri kullanılır.ppp⌊p–√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Bunun oldukça iyi eğitimli bir tahmin olduğunu ve muhtemelen ampirik kanıtlarla doğrulandığını anlıyorum, ancak birinin kare kökü seçmesinin başka nedenleri var mı? Orada meydana gelen istatistiksel bir olay var mı? Bu bir ...

2
Sinir ağlarını optimize etmek için neden Genetik Algoritmalar kullanılmıyor?
Anladığım kadarıyla, Genetik Algoritmalar çok amaçlı optimizasyon için güçlü araçlardır. Ayrıca, Yapay Sinir Ağlarının (özellikle derin olanların) eğitimi zordur ve birçok sorunu vardır (dışbükey olmayan maliyet fonksiyonları - yerel minima, yok olan ve patlayan gradyanlar vb.). Ayrıca kavramsal olarak GA ile bir NN eğitimi almanın mümkün olduğunu düşünüyorum. Merak ediyordum, ...


2
Neden her zaman ADAM optimizasyon tekniğini kullanmıyorsunuz?
Öyle görünüyor Adaptif Moment Tahmini (Adam) iyileştirici hemen her zaman (daha hızlı ve daha güvenilir bir global minimum ulaşan) sinir ağları eğitimi maliyet fonksiyonunu minimize zaman daha iyi çalışır. Neden her zaman Adem'i kullanmıyorsunuz? Neden RMSProp veya momentum optimize edicileri kullanmaktan rahatsız oluyorsunuz?

1
Fisher Skorlaması v / s MLE için Koordinat İnişi
R temel işlevi glm()MLE için Fishers Scoring kullanırken glmnet, aynı denklemi çözmek için koordinat iniş yöntemini kullanıyor gibi görünüyor. Koordinat inişi Fisher Scoring'den daha zaman verimlidir, çünkü Fisher Scoring diğer bazı matris işlemlerine ek olarak ikinci dereceden türev matrisini hesaplar. Bu da koordinat inişini aynı görevi O (np) zamanında yapabilir. ...

3
Bilimsel hesaplama için en iyi diller [kapalı]
Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 5 yıl önce kapalı . Çoğu dilde bazı bilimsel bilgi işlem kütüphaneleri var gibi görünüyor. Python var Scipy Rust ...
10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

2
Öğrenme hızı neden sinir ağımın ağırlıklarının hızla artmasına neden oluyor?
Tensorflow'u biraz araştırma için basit sinir ağları yazmak için kullanıyorum ve antrenman yaparken 'nan' ağırlıkları ile ilgili birçok sorun yaşadım. Optimize ediciyi değiştirme, kaybı, veri boyutunu vb. Değiştirme gibi birçok farklı çözüm denedim, ancak boşuna. Son olarak, öğrenme oranındaki bir değişikliğin ağırlıklarımda inanılmaz bir fark yarattığını fark ettim. .001 (oldukça ...
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.