«optimization» etiketlenmiş sorular

Neden lojistik regresyon optimizasyonu için Newton yöntemini kullanmaya yinelemeli yeniden ağırlıklı en küçük kareler denir? Benim için net görünmüyor çünkü lojistik kayıp ve en az kar kaybı tamamen farklı şeyler.

19 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

Sadece optimizasyonu öğreniyorum ve dışbükey ve dışbükey olmayan optimizasyon arasındaki farkı anlamakta zorlanıyorum. Anladığım kadarıyla, dışbükey bir işlev, "işlevin grafiğindeki herhangi iki nokta arasındaki çizgi parçasının üstünde veya grafiğin üzerinde yer aldığı" bir işlevdir. Bu durumda, bir degrade iniş algoritması kullanılabilir, çünkü tek bir minimum vardır ve degradeler sizi her …

19 optimization 

Aşırı uyumun matematiksel veya algoritmik bir tanımı var mı? Genellikle verilen tanımlar, her bir noktadan geçen bir çizgi ve doğrulama kaybı eğrisinin aniden yükseldiği klasik 2-B nokta grafiğidir. Fakat matematiksel olarak titiz bir tanım var mı?

18 mathematical-statistics  optimization  overfitting 

Herhangi bir genel örnekleme algoritmasından, bir optimizasyon algoritması türetilebilir. Gerçekten de, fonksiyonunu en üst düzeye çıkarmak için , den örnek çizmek yeterlidir . İçin yeterince küçük, bu numuneler fonksiyonu global maksimum (veya uygulamada yerel maksimum) yakın düşecek .f:x→f(x)f:x→f(x)f: \textbf{x} \rightarrow f(\textbf{x})g∼ef/Tg∼ef/Tg \sim e^{f/T}TTTfff "Örnekleme" ile kastedilen, bir sabite kadar bilinen …

18 sampling  optimization 

Özel bir işlevi en aza indirmeye çalışıyorum. Beş parametre ve veri kümesini kabul etmeli ve çıktı olarak tek bir sayı üreterek her türlü hesaplamayı yapmalıdır. İşlevimin en küçük çıktısını veren beş giriş parametresinin bir kombinasyonunu bulmak istiyorum.

18 r  optimization 

Bir çok öğretici çevrimiçi degrade inişi hakkında konuşuyor ve neredeyse hepsi sabit bir adım boyutu kullanıyor (öğrenme hızı ). Neden satır aramanın bir faydası yoktur (satır izleme veya tam satır araması gibi)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Minibatch boyutu büyüdükçe SGD'nin yakınsamasının aslında zorlaştığı / kötüleştiği gibi birçok tartışmadan benzer bir sonuç gördüm, örneğin bu makale ve bu cevap . Ayrıca, erken aşamada küçük öğrenme oranları veya parti boyutları gibi hileler kullanan insanların büyük parti boyutları ile bu zorluğu gidermek için duydum. Ancak bir minibatch ortalama kaybı …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Bir çağı, mevcut tüm eğitim örneklerinin tamamından geçmiş olarak ve mini-parti boyutunu, degradeyi azaltmak için gereken ağırlık / sapma güncellemelerini bulmak için ortalama örnek sayısı olarak tanımlarız. Benim sorum, bir çığır içindeki her bir mini partiyi üretmek için bir dizi eğitim örneği yerine getirilmememiz gerekip gerekmediğidir. Dönem sonu gereksinimini karşılamak …

18 machine-learning  neural-networks  optimization  deep-learning 

Sanırım bu temel bir soru ve degradenin kendisinin yönü ile ilgili, ama 2. dereceden yöntemleri (örneğin BFGS ) basit degrade iniş daha etkili olduğu örnekleri arıyorum .

18 optimization 

Neden GLMS'ye bazı özel optimizasyon problemleriymiş gibi muamele ettiğimizi merak ediyorum. Öyle mi? Bana öyle geliyor ki, bunlar sadece maksimum olasılıktır ve olasılığı yazıyoruz ve sonra ... maksimize ediyoruz! Peki neden uygulamalı matematik literatüründe geliştirilmiş sayısız optimizasyon planı yerine Fisher puanlaması kullanıyoruz?

18 generalized-linear-model  optimization  fisher-scoring 

Böyle bir kodu kullanarak R'de bir logit regresyonu gerçekleştirilebilir: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Optimizasyon algoritmasının birleştiği anlaşılıyor - balıkçı puanlama algoritmasının adım sayısı hakkında bilgi var: Call: glm(formula = cbind(Menarche, Total - Menarche) ~ …

17 r  generalized-linear-model  optimization  algorithms  logit 

Bulduğum bu Python uygulaması arasında Jenks Doğal Sonları algoritma ve bunu benim Windows 7 makine üzerinde çalıştırmak yapabiliriz. Oldukça hızlı ve coğrafi verilerimin boyutunu göz önünde bulundurarak araları birkaç kez bulur. Verilerim için bu kümeleme algoritmasını kullanmadan önce sklearn.clustering.KMeans (burada) algoritma kullanıyordum. KMeans ile yaşadığım problem, optimum K değeri parametresini …

17 python  clustering  optimization 

Bir oyuncak veri kümesi üzerinde ikili sınıflandırma yapmak için kare kaybı kullanmaya çalışıyorum. mtcarsVeri seti kullanıyorum , iletim tipini tahmin etmek için galon başına mil ve ağırlık kullanıyorum. Aşağıdaki grafik, farklı renkteki iki tür iletim tipi verisini ve farklı kayıp fonksiyonu tarafından oluşturulan karar sınırını göstermektedir. Kare kayıp burada temel …

16 r  machine-learning  logistic  optimization  loss-functions 

Birlikte yeniden oluşturmaya çalışın optimtakılmış basit doğrusal regresyon sonuçlarının glmhatta nlsR fonksiyonları. Parametre tahminleri aynıdır, ancak artık varyans tahmini ve diğer parametrelerin standart hataları, özellikle numune boyutu düşük olduğunda aynı değildir. Bunun, maksimum standart olabilirlik ve en küçük kare yaklaşımları arasında kalan standart hatanın hesaplanma biçimindeki farklılıklardan kaynaklandığını düşünüyorum (n'ye …

16 r  maximum-likelihood  optimization 

Ben kullanıyorum glmergelen işlevi lme4R paketin ve ben kullanıyorum bobyqaoptimize edici (benim durumumda varsayılan yani). Bir uyarı alıyorum ve bunun ne anlama geldiğini merak ediyorum. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce …

16 r  optimization  lme4-nlme  convergence  glmm