«cross-validation» etiketlenmiş sorular

İlk olarak, burada , burada , burada , burada , burada uzun süredir tartışılan bir soru yayınlamaktan dolayı özür dilerizve eski bir konuyu yeniden ısıtmak için. @DikranMarsupial'ın bu konu hakkında yazılarda ve dergi gazetelerinde uzun bir süre yazdığını biliyorum, ama hala kafam karıştı ve buradaki benzer yazıların sayısına bakılırsa, hala …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Bir veri varsa ve çapraz doğrulama (diyelim ki 5 kat) ile bir sınıflandırma (bu veriler üzerinde rastgele orman diyelim) çalıştırırsanız, benim yöntemime fazla uygun olmadığı sonucuna varabilir miyim?

17 cross-validation  overfitting 

Tekrarlanan k-kat çapraz doğrulamayı kullanıyorum ve çapraz doğrulamanın farklı çalışmalarının kıvrımları boyunca büyük ortalama olarak hesaplanan ortalamayı (değerlendirme metriğinin, örneğin hassasiyet, özgüllük) rapor ediyorum. Ancak, varyansı nasıl rapor etmem gerektiğinden emin değilim. Burada tekrarlanan çapraz doğrulamayı tartışan birçok soru buldum, ancak farkında olmadığım hiçbiri tekrarlanan çapraz doğrulama testlerinde varyans sorununu …

17 cross-validation 

Tekrarlanan bir k-kat çapraz validasyonu gerçekleştirmeden önce verilerin normalleştirilmesi (sıfır ortalama ve birlik standart sapmasına sahip olmak için) aşırı sığdırma gibi herhangi bir olumsuz kontrole sahip mi? Not: Bu #cases> toplam #features bir durum içindir Bazı verilerimi bir günlük dönüşümü kullanarak dönüştürüyorum, sonra yukarıdaki gibi tüm verileri normalleştiriyorum. Daha sonra …

17 cross-validation  normalization 

Şapka paketi birden makine öğrenme modellerini oluşturmak için parlak bir Ar kütüphane ve model oluşturma ve değerlendirme için çeşitli fonksiyonlara sahiptir. Parametre ayarlama ve model eğitimi için düzeltme paketi, yöntemlerden biri olarak 'tekrarlanancv' sunar. İyi bir uygulama olarak, parametre ayarlama aşağıdaki şekilde çalışan iç içe K-kat çapraz doğrulaması kullanılarak yapılabilir: …

16 cross-validation  caret 

Ben rastladım bu 2012 makalesinde soru çapraz doğrulama varyansını azaltmak için popüler bir teknik haline gelmiştir tekrarlanan çapraz doğrulama, yararını çağırarak Gitte Vanwinckelen ve Hendrik Blockeel tarafından. Yazarlar, tekrarlanan çapraz-validasyonun model tahminlerinin varyansını azaltmasına rağmen, aynı örnek veri kümesinin yeniden örneklendiği için, yeniden örneklenen çapraz-validasyon tahminlerinin ortalamasının gerçek öngörme doğruluğunun …

16 cross-validation 

10 kat çapraz doğrulama ayarında 120 örnek veri kümesi var. Şu anda, ilk yayının eğitim verilerini seçiyorum ve ızgara aramasıyla gama ve C değerlerini seçmek için 5 kat çapraz doğrulama yapıyorum. RBF çekirdeği ile SVM kullanıyorum. Kesinlik, hatırlama bildirmek için on 10 çapraz doğrulama yaptığım için, her kılavuzun eğitim verilerinde …

16 machine-learning  classification  cross-validation  svm 

Bir dizi noktaya doğrusal olmayan bir işlev takarsanız (her apsis için sadece bir koordinat olduğu varsayılarak) sonuç aşağıdakilerden biri olabilir: küçük kalıntılarla çok karmaşık bir fonksiyon büyük artıklarla çok basit bir fonksiyon Çapraz doğrulama genellikle bu iki uç arasındaki "en iyi" uzlaşmayı bulmak için kullanılır. Peki "en iyi" ne anlama …

16 model-selection  cross-validation 

Permütasyon testleri (randomizasyon testi, yeniden randomizasyon testi veya kesin test olarak da adlandırılır) çok faydalıdır ve örneğin normal dağıtım varsayımı t-testkarşılanmadığında ve değerlerin parametrik olmayan test Mann-Whitney-U-test, daha fazla bilginin kaybolmasına neden olur. Bununla birlikte, bu tür bir test kullanılırken bir ve sadece bir varsayım göz ardı edilmemelidir, örneklerin sıfır …

16 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

Az önce Coursera'daki Makine Öğrenimi dersinden bir ders izledim. Profesörün denetimli öğrenme uygulamalarında ön işleme verileri için PCA'yı tartıştığı bölümde, PCA'nın sadece eğitim verileri üzerinde yapılması gerektiğini ve daha sonra eşlemenin çapraz doğrulama ve test setlerini dönüştürmek için kullanıldığını söylüyor. Ayrıca bkz. PCA ve tren / test bölümü . Ancak, …

16 r  pca  cross-validation  caret 

Bir matris verilen Vm × nVm×n\mathbf V^{m \times n} , negatif olmayan matris çarpanlara (NMF), iki negatif olmayan matrisleri bulur Wm × kWm×k\mathbf W^{m \times k} ve 'Hk × nHk×n\mathbf H^{k \times n} (yani, tüm elemanları ile ≥ 0≥0\ge 0 ) halinde dekompoze olmuş matrisi temsil etmek: V ≈ G …

16 cross-validation  unsupervised-learning  latent-variable  matrix-decomposition  nnmf 

Scikit, modellerimizi belirli bir X, y çiftinde kalibre etmemizi sağlayan CalibratedClassifierCV'ye sahiptir . Ayrıca açıkça belirtiyor kidata for fitting the classifier and for calibrating it must be disjoint. Ayrılmaları gerekiyorsa, sınıflandırıcıyı aşağıdakilerle eğitmek meşru mudur? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Aynı eğitim setini kullanarak disjoint datakuralı ihlal ettiğimden korkuyorum . …

16 cross-validation  scikit-learn  validation  train  calibration 

Bir veri setini bir sabit efekt (durum) ve iki rastgele efekt (katılımcı konu tasarımı ve çifti nedeniyle katılımcı) ile karışık efektler modeli kullanarak analiz ediyorum. Model ile oluşturulan lme4paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Sonra, bu modelin sabit etki (durum) olmadan modele karşı bir olasılık oranı testi yaptım ve önemli bir farkım var. Veri …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Rastgele ormanlarda oldukça yeniyim. Geçmişte, hep doğruluğunu karşılaştırdık testi vs oturması karşı trenle vs oturması herhangi overfitting algılamak için. Ama burada sadece şunu okudum : "Rasgele ormanlarda, test seti hatasının tarafsız bir tahminini elde etmek için çapraz validasyona veya ayrı bir test setine gerek yoktur. Dahili olarak, çalışma sırasında tahmin …

15 cross-validation  random-forest  overfitting 

TLDR: Veri setim oldukça küçük (120) örnektir. 10 kat çapraz doğrulama yaparken aşağıdakileri yapmalıyım: Her test katından çıktıları toplayın, bunları bir vektöre birleştirin ve daha sonra bu tam tahmin vektöründeki hatayı hesaplayın (120 örnek)? Ya da bunun yerine her katta aldığım çıkışlardaki hatayı hesaplamalıyım (kat başına 12 örnekle) ve son …

15 classification  cross-validation  small-sample