«optimization» etiketlenmiş sorular

Örneğin, regresyon yaparken, seçilecek iki hiper parametresi genellikle fonksiyonun kapasitesidir (örneğin bir polinomun en büyük üssü) ve düzenlileştirme miktarıdır. Kafam karıştı, neden sadece düşük kapasiteli bir işlev seçmiyor ve ardından herhangi bir düzenlemeyi yok sayıyorsunuz? Bu şekilde, fazla giymeyecek. Düzenlemeyle birlikte yüksek kapasiteli bir işleve sahipsem, düşük kapasiteli bir işleve …

32 regression  machine-learning  optimization  regularization  polynomial 

PCA algoritması, korelasyon matrisi açısından formüle edilebilir ( verilerinin XXXzaten normalize olduğunu ve yalnızca ilk PC'ye yansımayı düşünüyoruz). Amaç işlevi şöyle yazılabilir: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Bu iyi ve biz bunu çözmek için Lagrangian çarpanlarını kullanıyoruz. maxw[(Xw)T(Xw)−λwTw],maxw[(Xw)T(Xw)−λwTw], \max_w [(Xw)^T(Xw) - \lambda w^Tw], hangi eşdeğer maxw(Xw)T(Xw)wTw,maxw(Xw)T(Xw)wTw, …

32 pca  optimization 

Rastgele orman sınıflandırıcılarının yazılım uygulamaları, kullanıcıların ormandaki ağaç sayısı da dahil olmak üzere algoritmanın davranışını hassas bir şekilde ayarlayabilmesi için bir dizi parametreye sahiptir. Bu , her bölmede denenecek özellik sayısının aynı şekilde ayarlanması gereken bir parametre midir (Leo Breiman'ın çağırdığı )?mmmmtry

30 classification  optimization  random-forest  hyperparameter 

Hessian'lar optimizasyon için çok iyiyse (bkz. Newton'un yöntemi ), neden orada durdunuz? Üçüncü, dördüncü, beşinci ve altıncı türevleri kullanalım mı? Neden olmasın?

29 optimization  gradient-descent  hessian 

Bir örnek olarak, ilgili XGBoost modelin amacı, fonksiyonu, ttt 'inci yineleme: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) burada ℓℓ\ell kaybı fonksiyonudur, ftftf_t olan ttt 'inci ağaç çıkışı ve ΩΩ\Omega regülarizasyonu olup. Hızlı hesaplama için (birçok) ana adımdan biri yaklaşık değerlerdir: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), burada gigig_i ve hihih_i işlev kaybı, birinci ve ikinci türevleridir. İstediğim şey, yukarıdaki …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Bu yazıda , karışık etki modellemesi ile bir ölçümün tekrarlanabilirliğini (diğer bir deyişle güvenilirlik, sınıf içi korelasyon) nasıl hesaplayacağımı anladım . R kodu şöyle olurdu: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

GAM kullandığımda, artık DF (kodun son satırı) olduğunu gösteriyor. Bu ne anlama geliyor? GAM örneğinin ötesine geçmek, Genel olarak, serbestlik derecelerinin sayısı tam sayı olmayan bir sayı olabilir mi?26,626,626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Bazı objektif fonksiyonların optimize edilmesinin daha kolay, bazılarının ise zor olduğunu biliyoruz. Ve kullanmak istediğimiz ancak kullanması zor olan birçok kayıp fonksiyonu var, örneğin 0-1 kayıp. Yani işi yapmak için bazı proxy kaybı işlevlerini buluyoruz . Örneğin, 0-1 kaybını "yaklaşık" yapmak için menteşe kaybı veya lojistik kaybı kullanıyoruz. Ardından arsa …

27 machine-learning  classification  optimization  loss-functions 

Doktora için teorik makine öğrenmesi - transfer öğrenimi, spesifik olması için çalışıyorum. Merakım dışında, neden dışbükey optimizasyon dersi almalıyım? Teorik makine öğrenimi konusundaki araştırmamda dışbükey optimizasyondan ne gibi faydalar alabilirim?

27 machine-learning  optimization  convex  transfer-learning 

Andrew Ng'nin Makine Öğrenimi kursunu bir yıl kadar önce tamamladım ve şimdi Lise Matematik araştırmamı Lojistik Regresyon çalışmalarına ve performansı optimize etmek için kullandığım tekniklere yazıyorum. Bu tekniklerden biri elbette düzenlileşmedir. Düzenlemenin amacı, maliyet fonksiyonunu model basitliği hedefini içerecek şekilde genişleterek fazladan takmayı önlemektir. Bunu, bazı düzenlileştirme paramaterleriyle çarpılan her …

27 regression  machine-learning  optimization  regularization  overfitting 

Bu sorunun buraya ait olup olmadığından emin değilim, ancak optimizasyondaki degrade yöntemleriyle yakından ilgilidir, bu da burada konuyla ilgili görünüyor. Her neyse, başka bir topluluğun bu konuda daha iyi bir uzmanlığı olduğunu düşünüyorsanız, göç etmekten çekinmeyin. Kısacası, adım adım ters mod otomatik farklılaşma örneği arıyorum . Orada konuyla ilgili çok …

27 optimization  derivative  tensorflow  automatic-differentiation 

Bir kitabı okuduğumuzda, notasyonları anlamak içeriğin anlaşılmasında çok önemli bir rol oynar. Ne yazık ki, farklı topluluklar modeldeki formülasyon ve optimizasyon problemi için farklı gösterim kurallarına sahiptir. Herhangi biri, burada bazı formülasyon gösterimlerini özetleyebilir ve olası sebepler sunabilir mi? Burada bir örnek vereceğim: Lineer cebir literatüründe klasik kitap, Strang'ın lineer …

26 machine-learning  probability  self-study  optimization 

Dışbükey bir maliyet fonksiyonu göz önüne alındığında, optimizasyon için SGD kullanılarak, optimizasyon işlemi sırasında belirli bir noktada bir degradeye (vektör) sahip olacağız. Sorum şu ki, dışbükeydeki noktaya göre, gradyan yalnızca işlevin en hızlı yükseldiği / azaldığı yönü işaret ediyor mu, yoksa gradyan her zaman maliyet işlevinin en uygun / en …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Deep Learning için Adam optimizerini okuyordum ve Bengio, Goodfellow ve Courville tarafından yazılan Deep Learning adlı yeni kitapta şu cümleyi okudum: Adam genel olarak hiper parametrelerinin seçimine oldukça sağlam olarak kabul edilir, ancak öğrenme oranının bazen önerilen varsayılan değerden değiştirilmesi gerekir. eğer bu doğruysa, bu büyük bir sorun çünkü hiper …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Aslında, size gradyan inişi için sonlandırma koşulunu nasıl tanımlayabileceğimi sormak istiyorum. Yineleme sayısına dayanarak, yani 100 yineleme için parametre değerlerini dikkate alarak durdurabilir miyim? Yoksa 'new' ve 'old' iki parametresindeki farklılığın, diyelim sırasına göre çok küçük olmasını beklemeli miyim ? Bu kesinlikle çok zaman alacaktır.10- 610-610^{-6} En iyi yol nedir? …

24 algorithms  optimization  gradient-descent