«optimization» etiketlenmiş sorular

ML (makine öğrenimi) algoritmalarında gradyan iniş optimizasyonunu anlamaya çalışıyorum. Bir maliyet fonksiyonu olduğunu anlıyorum - amacın hatayı en aza indirmektir . Ağırlıkları senaryoda en az hata vermek için optimize edilmektedir ve kısmi türevleri kullanılmaktadır, her iki değiştirir ve az sayıda iterasyon içinde, her bir aşamada ya da bir kombinasyonu (örneğin, …

9 optimization  gradient-descent 

Bu yüzden kendime sinir ağlarını öğretmeye çalışıyorum (regresyon uygulamaları için, kedilerin resimlerini sınıflandırmak değil). İlk deneylerim, bir FIR filtresi ve Ayrık Fourier Dönüşümü ("önce" ve "sonra" sinyalleri üzerinde eğitim) uygulamak için bir ağı eğitiyordu, çünkü bunların ikisi de etkinleştirme işlevi olmayan tek bir katman tarafından uygulanabilen doğrusal işlemlerdir. Her ikisi …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Degrade düzgün bir oyuncak örneği yaptığımızı varsayalım , sabit adım boyutu kullanarak ikinci dereceden işlevini en aza . ( )xTAxxTAxx^TAxα = 0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Her bir yinelemede izini çizersek, aşağıdaki rakamı elde ederiz. Sabit adım boyutu kullandığımızda neden noktalar "daha yoğun" oluyor ? Sezgisel olarak, sabit bir adım boyutuna …

9 r  machine-learning  optimization  gradient-descent 

Ben görev bir görüntüde bir kutu (x, y) konumunu tahmin etmektir regresyon için basit bir evrişimsel sinir ağı, örneğin: Ağın çıktısında biri x, diğeri y için olmak üzere iki düğüm vardır. Ağın geri kalanı standart bir evrişimli sinir ağıdır. Kayıp, kutunun öngörülen konumu ile yer gerçeği konumu arasındaki standart ortalama …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Bazı beklentileri hesaplamak istediğimizi varsayalım: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Monte Carlo simülasyonunu kullanarak buna yaklaşmak istediğimizi varsayalım. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) AMA, her iki dağıtımdan da numune almanın pahalı olduğunu varsayalım, böylece yalnızca sabit bir sayı çizebiliriz KKK. Nasıl tahsis etmeliyiz KKK? Örnekler:K/ 2K/2K/2 her bir dağıtıma veya en uçta dışa bir beraberlik çeker …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Lasso'yu vanilya alt gradyan yöntemleri ile çözmeyi düşünüyordum. Ama Proksimal degrade iniş kullanmayı öneren insanları okudum. Birisi neden Kement için vanilya alt gradyan yöntemleri yerine proksimal GD'nin kullanıldığını vurgulayabilir mi?

9 machine-learning  optimization  lasso  gradient-descent 

OLS'yi kapsayan ekonometrik ders kitabımda (Tanılayıcı Ekonometri), yazar "Başka bir açıklayıcı değişken eklendiğinde SSR'nin düşmesi gerekir" yazıyor. Neden o?

9 regression  optimization  econometrics  intuition  sums-of-squares 

İkinci dereceden optimizasyon problemlerini çözmeme yardımcı olacak bir paket arıyorum ve en az yarım düzine farklı paket olduğunu görüyorum. Bu sayfaya göre : QP (İkinci dereceden programlama, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Bunlardan bazıları (Rmosek ve cplexAPI) diğer tescilli paketlere bağlıdır, …

9 r  optimization 

Varsayılan olarak glm, R'de bir işlev kullandığımızda , parametrelerin maksimum olasılık tahminini bulmak için yinelemeli olarak yeniden ağırlıklandırılmış en küçük kareler (IWLS) yöntemini kullanır. Şimdi iki sorum var. IWLS tahminleri olabilirlik fonksiyonunun küresel maksimumunu garanti ediyor mu? Bu sunumdaki son slayda dayanarak, öyle olmadığını düşünüyorum! Sadece bundan emin olmak istedim. …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

R'de optim kullanarak bir günlük olabilirlik fonksiyonunu en üst düzeye çıkararak tahmin edilen parametreler için profil oluşturmayı kullanarak% 95 güven aralıklarını nasıl tahmin edebilirim? Kendir ters çevirerek kovaryans matrisini asemptotik olarak tahmin edebileceğimi biliyorum , ancak verilerimin bu yöntemin geçerli olması için gerekli varsayımları karşılamadığından endişeliyim. Başka bir yöntem kullanarak …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Bu oldukça genel bir sorudur (yani istatistiklere özgü olması gerekmez), ancak yazarların aşağıdaki yaklaşımı izlemeyi tercih ettiği makine öğrenimi ve istatistiksel literatürde bir eğilim fark ettim: Yaklaşım 1 : Küresel olarak optimal bir çözüm bulmanın mümkün olduğu bir maliyet fonksiyonunu formüle ederek (örn. Dışbükey bir maliyet fonksiyonunu formüle ederek) pratik …

9 optimization  function 

İstatistikçilere yönelik sayısal optimizasyon tekniklerine sağlam bir referans (veya referanslar) arıyorum, yani bazı standart çıkarımsal sorunlara (örneğin ortak modellerde MAP / MLE) bu yöntemleri uygulayacağım. Degrade iniş (düz ve stokastik), EM ve spinoffları / genellemeleri, benzetilmiş tavlama vb. Uygulama hakkında bazı pratik notlar olacağını umuyorum (bu yüzden sıklıkla gazetelerde eksik). …

9 estimation  references  optimization 

Bu yüzden, Hamming Distance kullanarak biyometrik özellikteki bir kişinin kimliğini doğrulamaya çalıştığım 16 denemem var. Eşik değer 3,5'e ayarlandı. Verilerim aşağıda ve yalnızca deneme 1 Gerçek Olumludur: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction