«optimization» etiketlenmiş sorular

8
Bir öğrenme oranı seçme
Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için ...

4
Yeni gözlemler mevcutsa, bir model yeniden eğitilmeli mi?
Bu yüzden, bu konuda herhangi bir literatür bulamamıştım, ancak düşünce vermeye değer bir şey gibi görünüyor: Yeni gözlemler mevcutsa model eğitimi ve optimizasyondaki en iyi uygulamalar nelerdir? Tahminler bozulmaya başlamadan önce bir modelin yeniden eğitim süresi / sıklığını belirlemenin bir yolu var mı? Parametreler toplanmış veriler için yeniden optimize edilmişse ...


4
Gradyan inişi her zaman optimum seviyeye yaklaşıyor mu?
Degrade inişin minimuma yakınlaşmadığı bir senaryo olup olmadığını merak ediyorum. Degrade inişin her zaman küresel bir optimumluğa yaklaşacağı garanti edilmez. Ayrıca, adım boyutu çok büyükse, optimumdan farklı olabileceğinin de farkındayım. Ancak, bana öyle geliyor ki, eğer bir optimumdan ayrılırsa, sonunda başka bir optimum seviyeye gidecektir. Bu nedenle, gradyan inişinin yerel ...

3
Sinir ağlarını eğitmek için bir optimize edici seçme yönergeleri
Bir süredir sinir ağları kullanıyorum. Bununla birlikte, sürekli mücadele ettiğim bir şey, ağı eğitmek için bir iyileştirici seçimidir (backprop kullanarak). Genellikle yaptığım şey sadece biriyle (örneğin standart SGD) başlamak ve diğerlerini hemen hemen rastgele denemek. İyi bir optimizer bulmak için daha iyi (ve daha az rastgele) bir yaklaşım olup olmadığını ...

2
derin öğrenme yerel eyer vs eyer puan
Andrew Ng'i (maalesef artık bulamadım bir videoda) derin öğrenme problemlerindeki yerel minima anlayışının şimdi daha az sorunlu olarak kabul edildikleri için nasıl değiştiği hakkında konuştuğunu duydum. derin öğrenme) kritik noktaların yerel minimadan ziyade eyer noktaları veya platolar olması daha olasıdır. "Her yerel minimumun küresel bir minimum olduğu" varsayımlarını tartışan makaleler ...

1
Rastgele Ormanları kullanarak örnekleme yapmak için kaç özellik
Vikipedi sayfası tırnak "İstatistiksel Öğrenme Unsurları" diyor: Genellikle, özelliklerine ilişkin bir sınıflandırma sorunu için her özellikleri kullanılır.ppp⌊p–√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Bunun oldukça iyi eğitimli bir tahmin olduğunu ve muhtemelen ampirik kanıtlarla doğrulandığını anlıyorum, ancak birinin kare kökü seçmesinin başka nedenleri var mı? Orada meydana gelen istatistiksel bir olay var mı? Bu bir ...

2
Sinir ağlarını optimize etmek için neden Genetik Algoritmalar kullanılmıyor?
Anladığım kadarıyla, Genetik Algoritmalar çok amaçlı optimizasyon için güçlü araçlardır. Ayrıca, Yapay Sinir Ağlarının (özellikle derin olanların) eğitimi zordur ve birçok sorunu vardır (dışbükey olmayan maliyet fonksiyonları - yerel minima, yok olan ve patlayan gradyanlar vb.). Ayrıca kavramsal olarak GA ile bir NN eğitimi almanın mümkün olduğunu düşünüyorum. Merak ediyordum, ...


2
Neden her zaman ADAM optimizasyon tekniğini kullanmıyorsunuz?
Öyle görünüyor Adaptif Moment Tahmini (Adam) iyileştirici hemen her zaman (daha hızlı ve daha güvenilir bir global minimum ulaşan) sinir ağları eğitimi maliyet fonksiyonunu minimize zaman daha iyi çalışır. Neden her zaman Adem'i kullanmıyorsunuz? Neden RMSProp veya momentum optimize edicileri kullanmaktan rahatsız oluyorsunuz?
Licensed under cc by-sa 3.0 with attribution required.