«cross-validation» etiketlenmiş sorular

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Ben veri önişleme yapmak ve sonra benim veriler üzerinde bir Convonets inşa edeceğim. Sorum şu: 100 görüntülü toplam veri kümem var, 100 görüntünün her biri için ortalama hesaplıyorum ve sonra görüntülerin her birinden çıkartıyorum, sonra bunu tren ve doğrulama kümesine ayırdım ve aynısını yapıyorum belirli bir test setinde işlem yapmak …

11 machine-learning  cross-validation  data-preprocessing 

Sitede okuduğumda, çoğu cevap, çapraz öğrenme işleminin makine öğrenme algoritmalarında yapılması gerektiğini gösteriyor. Ancak, "Makine Öğrenmesini Anlama" kitabını okurken bazen çapraz doğrulamanın kullanılmaması daha iyi bir alıştırma olduğunu gördüm. Gerçekten kafam karıştı. Verilerin tamamı üzerinde eğitim algoritması çapraz doğrulamadan daha iyidir? Gerçek veri setlerinde oluyor mu? Let olmak hipotez sınıfları. …

10 machine-learning  self-study  cross-validation 

Bir kağıt fabrikasının performansı hakkında tahminlerde bulunmak için RF regresyonunu kullanmaya çalışıyorum. Girişler için dakika dakika verilerim var (odun hamurunun oranı ve miktarı vb ...) ve aynı zamanda makinenin performansı (üretilen kağıt, makinenin çektiği güç) ve 10 dakika tahminlerde bulunmak istiyorum performans değişkenleri üzerinde. 12 aylık verilerim var, bu yüzden …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Ben R glmnet kullanarak bir LASSO modeli eğitim ve test düzgün yaklaşmak merak ediyorum? Özellikle, harici bir test veri setinin eksikliği LASSO modelimi test etmek için çapraz doğrulamayı (veya benzer bir yaklaşımı) kullanmamı gerektiriyorsa bunu nasıl yapacağımı merak ediyorum . Senaryomu yıkayım: Glmnet modelimi bilgilendirmek ve eğitmek için sadece bir …

10 r  cross-validation  glmnet  lasso 

Anladığım kadarıyla, test hatasının k-katlı çapraz doğrulama tahmini genellikle gerçek test hatasını hafife alıyor. Neden böyle olduğunu kafam karıştı. Eğitim hatasının neden genellikle test hatasından daha düşük olduğunu görüyorum - çünkü modeli, hatayı tahmin ettiğiniz verilerle eğitiyorsunuz! Ancak bu, çapraz doğrulama için geçerli değildir - hatayı ölçtüğünüz kat, eğitim sırasında …

10 cross-validation  bias 

Son zamanlarda Pareto'nun önemini belirten örnekleme bırakma-bir-arada çapraz-doğrulama (PSIS-LOO) kullanmaya başladım: Vehtari, A. ve Gelman, A. (2015). Pareto önem örneklemesini yumuşattı. arXiv ön baskı ( bağlantı ). Vehtari, A., Gelman, A. ve Gabry, J. (2016). Bir defaya mahsus çapraz doğrulama ve WAIC kullanılarak pratik Bayesci model değerlendirmesi. arXiv ön baskı …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Bir grafik üzerinde var bazı veriler var. Köşe iki sınıftan birine ait y ı ∈ { - 1 , 1 } ve ben iki sınıf arasında ayrım bir SVM eğitim ilgilenen ediyorum. Bunun için bir uygun çekirdektirdifüzyon çekirdek, K = exp ( - β L ) , L olanLaplaceait G …

10 svm  cross-validation  kernel-trick  graph-theory 

Gördüğüm kadarıyla, bu konuda görüşler farklı. En iyi uygulama, çapraz doğrulamayı kullanmayı dikte eder (özellikle RF'leri aynı veri kümesindeki diğer algoritmalarla karşılaştırırsanız). Öte yandan, orijinal kaynak, model eğitimi sırasında OOB hatasının hesaplandığının test seti performansının bir göstergesinin yeterli olduğunu belirtir. Trevor Hastie bile, nispeten yakın tarihli bir görüşmede "Rastgele Ormanlar …

10 cross-validation  random-forest  overfitting  out-of-sample 

Küçük bir örnek boyutum olduğunu varsayalım, örneğin N = 100 ve iki sınıf. Makine öğrenimi için eğitim, çapraz doğrulama ve test seti boyutlarını nasıl seçmeliyim? Sezgisel olarak seçerdim Eğitim seti boyutu 50 Çapraz doğrulama seti boyutu 25 ve Boyutu 25 olarak test edin. Ama muhtemelen bu az ya da çok …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Birkaç hafta önce bir soruya verdiğim yanıtı yeniden düşünüyorum Uzak tutma çapraz doğrulaması, gösterim için tekrar tekrar kullanılabilen tek bir test seti üretir. Hepimiz bunun birçok yönden olumsuz bir özellik olduğu konusunda hemfikir görünüyoruz, çünkü bir set seti rasgele olarak temsili olmayabilir. Dahası, egzersiz verisine uyum sağlayabileceğiniz şekilde test verilerine …

10 cross-validation 

Orijinal bir tam modelden üç azaltılmış model kullanarak ileri seçim geriye doğru eleme L1 ceza tekniği (LASSO) İleri seçim / geri eleme kullanılarak elde edilen modeller için, mevcut CVlmpakette DAAGkullanılan çapraz doğrulanmış tahmin hatası tahminini elde ettim R. LASSO ile seçilen model için kullandım cv.glm. LASSO için tahmin hatası, diğerleri …

10 cross-validation  model-selection  lasso  stepwise-regression 

Özellik seçimi yalnızca eğitim verileri (veya tüm veriler) üzerinde mi yapılmalıdır? Guyon (2003) ve Singhi ve Liu (2006) gibi bazı tartışmalar ve makalelerden geçtim , ancak yine de doğru cevaptan emin değilim. Deneme kurulumum şu şekildedir: Veri seti: 50 sağlıklı kontrol ve 50 hastalıklı hasta (hastalık tahmini ile ilgili olabilecek …

10 dataset  cross-validation  experiment-design  feature-selection 

ve sınıflandırma problemi için iki öğrenme yöntemim olduğunu ve genelleme performanslarını tekrarlanan çapraz doğrulama veya önyükleme gibi bir şeyle tahmin ettiğimi varsayalım. Bu işlemden , bu tekrarlar boyunca her yöntem için ve puanlarının bir dağılımını elde ederim (örneğin, her model için ROC AUC değerlerinin dağılımı).B P A P BAAABBB PAPAP_APBPBP_B …

10 cross-validation  model-selection 

Bir veri kümesi üzerinde çalışıyorum. Bazı model tanımlama tekniklerini kullandıktan sonra bir ARIMA (0,2,1) modeliyle çıktım. Orijinal veri setimin 48. gözleminde yenilikçi bir aykırı değer (IO) tespit etmek için R'deki detectIOpaketteki işlevi kullandım .TSA Öngörme amacıyla kullanabilmem için bu aykırı değeri modelime nasıl dahil edebilirim? ARIMAX modelini kullanmak istemiyorum çünkü …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models