«optimization» etiketlenmiş sorular

Not: Teknik nedenlerden dolayı kendi başlarına gönderemediğim eski bir öğrenciden bir soru gönderiyorum. Bir örnek verilmişse, , pdf ile bir Weibull dağılımından için faydalı bir değişken gösterimi ve dolayısıyla basit kullanım yerine MLE'sini bulmak için kullanılabilecek bir ilişkili EM (beklenti-maksimizasyon) algoritması sayısal optimizasyon?f k ( x ) = k x …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Makine öğrenmesi için optimizasyon teknikleri üzerine biraz araştırma yapıyorum, ancak diğer optimizasyon problemleri açısından çok sayıda optimizasyon algoritması tanımladığımı şaşırdım. Aşağıdaki bazı örnekler göstermektedir. Örneğin https://arxiv.org/pdf/1511.05133v1.pdf Her şey güzel ve iyi görünüyor ama sonra bu yoktur argminxargminx\text{argmin}_x in zk + 1zk+1z^{k+1} güncellemesi .... böylece algoritma nedir bunun için çözer argminargmin\text{argmin} …

23 machine-learning  svm  optimization 

Son zamanlarda cstheory stackexchange üzerinde ML benzeri bir soru vardı ve Powell'ın yöntemini, gradyan inişini, genetik algoritmaları veya diğer "yaklaşım algoritmalarını" öneren bir cevap verdim . Bir yorumda, birisi bana bu yöntemlerin "yaklaşım algoritmaları" olmadığını ve "yaklaşım algoritmaları" olmadığını ve çoğu zaman teorik olarak en uygun duruma gelmediğini söyledi (çünkü …

23 machine-learning  optimization  approximation 

Herhangi bir maksimum (log-) olabilirlik tahmini problemi için her zaman maksimize edicinin olup olmadığını merak ediyorum. Başka bir deyişle, MLE probleminin maksimize edicisi olmayan bir dağılım ve bazı parametreleri var mı? Sorum, MLE'deki maliyet fonksiyonunun (olasılık veya log olabilirlik, hangisinin amaçlandığından emin değilim) her zaman içbükey olduğu ve bu nedenle …

23 maximum-likelihood  optimization 

İki algoritma için farklı kullanım durumlarının ne olduğunu merak ediyordum, Koordinat İniş ve Degrade İniş . Koordinat iniş işlevinin düzgün olmayan işlevlerle problemleri olduğunu biliyorum, ancak SVM ve LASSO gibi popüler algoritmalarda kullanılıyor. Ancak gradyan inişi, özellikle YSA'ların yeniden dirilişi ile ve diğer birçok makine öğrenim görevi için daha yaygın …

23 optimization  gradient-descent 

Burada da benzer bir iş parçacığı var ( Sinir ağının maliyet işlevi dışbükey değil mi? ) Fakat buradaki cevaplardaki noktaları anlayamadım ve bunun tekrar sorulma nedeninin bazı sorunları netleştireceğini umuyorum: I karesi alınmış farkı maliyet fonksiyonunun toplamı kullanıyorum için, sonuçta formun şey optimize am y eğitim aşaması esnasında gerçek etiket …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Diyelim ki aşağıdaki modelim var yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i buradaki , , açıklayıcı değişkenlerin bir vektörüdür, , doğrusal olmayan fonksiyonunun ve nın parametreleridir , burada doğal olarak matrisi.yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK× KK×KK\times K Amaç ve tahmin etmek her zamanki gibidir . Belirgin seçim maksimum olabilirlik yöntemidir. Bu model için log olabilirliği (bir örneğimiz olduğunu …

22 maximum-likelihood  optimization  covariance 

Parametrelerin maksimum olasılık tahminlerini elde etmek neden bu kadar yaygındır, ancak neredeyse beklenen olasılık parametresi tahminlerini hiç duymazsınız (yani, bir olasılık olabilirlik fonksiyonu modundan ziyade beklenen değere dayanarak )? Bu öncelikle tarihsel nedenlerden mi, yoksa daha temel teknik veya teorik nedenlerden mi dolayı? Azami olabilirlik tahminleri yerine beklenen olasılık tahminlerini …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Bazı eğitim verilerine dayanarak kayıtları 2 kategoride (doğru / yanlış) sınıflandıracak bir program uygulamam gerekiyor ve hangi algoritmaya / metodolojiye bakmam gerektiğini merak ediyordum. Seçilebilecek birçoğu var - Yapay Sinir Ağı, Genetik Algoritma, Makine Öğrenmesi, Bayes Optimizasyonu vs., ve nereden başlayacağımı bilmiyordum. Yani benim sorularım: Sorunum için kullanmam gereken bir …

21 machine-learning  bayesian  optimization  genetic-algorithms 

Lojistik regresyonda mükemmel ayrılma hakkında birçok iyi tartışmamız var. Bu şekilde, R lojistik regresyon mükemmel ayırma (Hauck-Donner fenomeni) ile sonuçlanmıştır. Şimdi ne olacak? ve lojistik regresyon modeli yakınsama yapmaz . Şahsen hala neden bir sorun olacağı ve düzenlileştirme eklemenin sorunu çözeceği için sezgisel olmadığını hissediyorum. Bazı animasyonlar yaptım ve faydalı …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Simetrik pozitif tanımlı (SPD) matrisin tanımını biliyorum, ama daha fazla anlamak istiyorum. Sezgisel olarak neden bu kadar önemli? İşte bildiklerim. Başka? Belirli bir veri için Ko-varyans matrisi SPD'dir. Ko-varyans matrisi önemli bir metriktir, sezgisel açıklama için bu mükemmel gönderiye bakın . SPD ise, ikinci dereceden form dışbükeydir . Konveksite, yerel …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Derin ve sığ sinir ağlarının eğitiminde, gradyan yöntemleri (örneğin, gradyan inişi, Nesterov, Newton-Raphson) neden diğer meta-sezgilerin aksine yaygın olarak kullanılmaktadır? Meta-sezgisel olarak, yerel bir minimada sıkışmayı önlemek için geliştirilen benzetilmiş tavlama, karınca kolonisi optimizasyonu vb. Yöntemleri kastediyorum.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

LSTM'leri denemek için theano kullanıyorum ve LSTM'ler için hangi optimizasyon yöntemlerinin (SGD, Adagrad, Adadelta, RMSprop, Adam, vb.) En iyi sonucu merak ediyordum? Bu konuda herhangi bir araştırma makalesi var mı? Ayrıca, cevap LSTM için kullandığım uygulamanın türüne bağlı mı? Eğer öyleyse, metin sınıflandırma (metnin ilk kelime vektörlerine dönüştürüldüğü yer) için …

20 machine-learning  neural-networks  optimization  lstm 

Genetik algoritmalar bir optimizasyon yöntemidir. Genellikle stokastik gradyan inişi ve türevleri fonksiyon optimizasyonu için en iyi seçimdir, ancak bazen genetik algoritmalar hala kullanılmaktadır. Örneğin, NASA'nın ST5 uzay aracının anteni genetik bir algoritma ile oluşturuldu: Genetik optimizasyon yöntemleri ne zaman daha yaygın gradyan iniş yöntemlerinden daha iyi bir seçimdir?

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Optimizasyonda yeniyim. Bir normun sağ tarafında üst simge 2 ve alt simge 2 olan denklemleri görmeye devam ediyorum . Örneğin, en küçük kareler denklemi min||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 Üst simge 2'yi anlıyorum: normun değerini kare yapmak anlamına geliyor. Ama alt simge 2 nedir? Bu denklemleri nasıl okumalıyım?

20 regression  optimization  notation