«gradient-descent» etiketlenmiş sorular

Hessian'lar optimizasyon için çok iyiyse (bkz. Newton'un yöntemi ), neden orada durdunuz? Üçüncü, dördüncü, beşinci ve altıncı türevleri kullanalım mı? Neden olmasın?

29 optimization  gradient-descent  hessian 

Coursera'da Machine Learning Stanford kursunu yapıyorum. Lojistik Regresyon bölümünde, maliyet fonksiyonu şudur: Sonra burada türetilir: Maliyet fonksiyonunun türevini almaya çalıştım ama tamamen farklı bir şey aldım. Türev nasıl elde edilir? Aracı adımlar nelerdir?

29 regression  logistic  gradient-descent  derivative 

EM (Beklenti Maksimizasyonu) ve Gradient Ascent (veya iniş) algoritmaları arasındaki fark nedir? Eşdeğer oldukları herhangi bir koşul var mı?

28 gradient-descent  expectation-maximization 

Dışbükey bir maliyet fonksiyonu göz önüne alındığında, optimizasyon için SGD kullanılarak, optimizasyon işlemi sırasında belirli bir noktada bir degradeye (vektör) sahip olacağız. Sorum şu ki, dışbükeydeki noktaya göre, gradyan yalnızca işlevin en hızlı yükseldiği / azaldığı yönü işaret ediyor mu, yoksa gradyan her zaman maliyet işlevinin en uygun / en …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Aslında, size gradyan inişi için sonlandırma koşulunu nasıl tanımlayabileceğimi sormak istiyorum. Yineleme sayısına dayanarak, yani 100 yineleme için parametre değerlerini dikkate alarak durdurabilir miyim? Yoksa 'new' ve 'old' iki parametresindeki farklılığın, diyelim sırasına göre çok küçük olmasını beklemeli miyim ? Bu kesinlikle çok zaman alacaktır.10- 610-610^{-6} En iyi yol nedir? …

24 algorithms  optimization  gradient-descent 

İki algoritma için farklı kullanım durumlarının ne olduğunu merak ediyordum, Koordinat İniş ve Degrade İniş . Koordinat iniş işlevinin düzgün olmayan işlevlerle problemleri olduğunu biliyorum, ancak SVM ve LASSO gibi popüler algoritmalarda kullanılıyor. Ancak gradyan inişi, özellikle YSA'ların yeniden dirilişi ile ve diğer birçok makine öğrenim görevi için daha yaygın …

23 optimization  gradient-descent 

Degradelerin ResNet modülleri / atlama bağlantıları kullanarak bir sinir ağı üzerinden nasıl yayıldığını merak ediyorum. ResNet hakkında birkaç soru gördüm (örneğin , atlama katmanı bağlantılarına sahip sinir ağı ) ancak bu, özellikle eğitim sırasında degradelerin geri yayılması hakkında sorular soruyor. Temel mimari burada: Görüntü Tanıma için Kalıntı Ağları Çalışması adlı …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Geri yayılım algoritmasını kullanarak bir sinir ağını eğitirken, ağırlık güncellemelerini belirlemek için degrade iniş yöntemi kullanılır. Benim soru: Daha çok yavaş belirli ağırlığına göre en az noktasını bulmak için dik iniş metodunu kullanarak yerine, neden türevi set değil , ve hatayı en aza indiren ağırlık değerini bulun.wd(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www Ayrıca, geri yayılımdaki …

22 neural-networks  gradient-descent  backpropagation 

İnsanlar neden çekirdek SVM'lerle uğraşırken Kuadratik Programlama tekniklerini (SMO gibi) kullanıyor? Gradyan İnişinin nesi yanlış? Çekirdekle kullanmak imkansız mı yoksa çok mu yavaş (ve neden?). İşte biraz daha fazla bağlam: SVM'leri biraz daha iyi anlamaya çalışırken, aşağıdaki maliyet işlevini kullanarak doğrusal bir SVM sınıflandırıcısını geliştirmek için Gradient Descent kullandım: J( …

21 svm  kernel-trick  gradient-descent 

Temelde benim sorum çok katmanlı Algılayıcılarda, algılayıcıların bir sigmoid aktivasyon işlevi ile kullanıldığıdır. Böylece güncelleme kuralında olarak hesaplanır.y^y^\hat{y} y^= 11 + exp( - wTxben)y^=11+exp⁡(-wTxben)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Bu "sigmoid" Perceptron'un lojistik regresyondan farkı nedir? Tek katmanlı bir sigmoid algılayıcının, her ikisinin de kullanması anlamında bir lojistik regresyona eşdeğer olduğunu söyleyebilirim. güncelleme …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

Derin ve sığ sinir ağlarının eğitiminde, gradyan yöntemleri (örneğin, gradyan inişi, Nesterov, Newton-Raphson) neden diğer meta-sezgilerin aksine yaygın olarak kullanılmaktadır? Meta-sezgisel olarak, yerel bir minimada sıkışmayı önlemek için geliştirilen benzetilmiş tavlama, karınca kolonisi optimizasyonu vb. Yöntemleri kastediyorum.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Genetik algoritmalar bir optimizasyon yöntemidir. Genellikle stokastik gradyan inişi ve türevleri fonksiyon optimizasyonu için en iyi seçimdir, ancak bazen genetik algoritmalar hala kullanılmaktadır. Örneğin, NASA'nın ST5 uzay aracının anteni genetik bir algoritma ile oluşturuldu: Genetik optimizasyon yöntemleri ne zaman daha yaygın gradyan iniş yöntemlerinden daha iyi bir seçimdir?

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Bu ifadeyi eski bir doğru / yanlış sınavda okudum: Degrade iniş kullanarak karesi alınmış hataların toplamını en aza indirerek doğrusal bir regresyon problemini çözersek birden fazla yerel optimum çözüm elde edebiliriz. Çözüm: Yanlış Sorum şu, bu sorunun hangi kısmı yanlış? Bu ifade neden yanlış?

19 least-squares  gradient-descent  convex 

Stokastik gradyan inişinin rastgele bir davranışa sahip olduğunu biliyorum, ama nedenini bilmiyorum. Bununla ilgili bir açıklama var mı?

19 machine-learning  random-variable  gradient-descent 

Minibatch boyutu büyüdükçe SGD'nin yakınsamasının aslında zorlaştığı / kötüleştiği gibi birçok tartışmadan benzer bir sonuç gördüm, örneğin bu makale ve bu cevap . Ayrıca, erken aşamada küçük öğrenme oranları veya parti boyutları gibi hileler kullanan insanların büyük parti boyutları ile bu zorluğu gidermek için duydum. Ancak bir minibatch ortalama kaybı …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd