«validation» etiketlenmiş sorular

Matlab'daki sinir ağları araç kutusunu kullanırken kafa karıştırıcı buldum. Ham veri setini üç parçaya böldü: Eğitim Seti doğrulama seti Deneme seti Birçok eğitim veya öğrenme algoritmasında, verilerin genellikle 2 bölüme, eğitim setine ve test setine bölündüğünü fark ettim. Benim sorularım: doğrulama seti ve test seti arasındaki fark nedir? Doğrulama, sinir …

431 machine-learning  validation 

Bana göre, tutma onayının işe yaramaz olduğu görünüyor. Yani, orijinal veri setini iki bölüme ayırmak (eğitim ve test) ve test puanını genelleme ölçütü olarak kullanmak bir şekilde işe yaramaz. K-fold cross-validation, genelleme için daha iyi yaklaşımlar veriyor gibi görünüyor (her noktada eğitiyor ve test ediyor). Öyleyse neden standart bekletme onayını …

54 machine-learning  cross-validation  validation 

Medyada her yerde "Büyük veri" var. Herkes "büyük veri" nin 2012 için büyük bir şey olduğunu söylüyor, örneğin KDNuggets 2012 için sıcak konuları araştırıyor . Ancak, burada derin endişelerim var. Büyük verilerle, herkes bir şey çıkarmaktan mutlu görünüyor . Fakat hipotez testi ve temsili örnekleme gibi tüm klasik istatistiksel ilkeleri …

40 data-mining  dataset  large-data  validation 

Küme analizi ile ilgili en büyük sorunlardan biri, kullanılan farklı kümeleme yöntemlerine (hiyerarşik kümelemede farklı bağlantı yöntemleri dahil) dayandığında farklı sonuçlar çıkarmamız gerektiğidir . Bu konudaki fikrinizi bilmek istiyorum - hangi yöntemi seçeceksiniz ve nasıl. Biri “en iyi kümeleme yöntemi, size doğru cevabı verendir”; ancak küme analizinin denetimsiz bir teknik …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Bazı konferanslar ve öğreticiler eğitim, doğrulama ve test: Gördüğüm, bunlar üç bölüme verilerinizi bölmek düşündürmektedir. Ancak test veri setinin nasıl kullanılması gerektiği ve bu yaklaşımın tüm veri setindeki çapraz doğrulamadan nasıl daha iyi olduğu açık değildir. Diyelim ki verilerimizin% 20'sini bir test seti olarak kaydettik. Sonra gerisini alırız, onu katlara …

25 machine-learning  cross-validation  validation 

Eğitim setinde birkaç model eğittiğimi varsayalım, çapraz doğrulama setini ve test setinde ölçülen performansı kullanarak en iyisini seçtim. Şimdi son bir modelim var. Mevcut tüm verilerime veya sadece eğitim setinde eğitilmiş gemi çözümüne bakmalı mıyım? İkincisi, öyleyse neden? GÜNCELLEME: P.Windridge'in de belirttiği gibi, yeniden eğitilmiş bir modelin nakliyesi, temel olarak, …

23 machine-learning  validation  regression-strategies 

Bilim, yeniden üretilebilir olması gerektiğinden, tanım gereği, veri ve kodun veri ve kod paylaşımı için Yale Roundtable tarafından tartışıldığı gibi, yeniden üretilebilirliğin temel bir bileşeni olduğu konusunda artan bir farkındalık vardır . Veri ve kod paylaşımı gerektirmeyen bir dergi için bir makaleyi gözden geçirirken, veri ve kodun kullanılabilir olmasını isteyebilir …

23 dataset  validation  reproducible-research  journals 

K-kat doğrulaması hakkında okuyordum ve nasıl çalıştığını anladığımdan emin olmak istiyorum. Muhafaza yöntemi için, verilerin üç sete ayrıldığını ve test setinin yalnızca modelin performansını değerlendirmek için kullanıldığını, doğrulama setinin hiperparametreleri ayarlamak için kullanıldığını biliyorum. K-katlama yönteminde, yine de son için bir test seti tutuyor muyuz ve kalan verileri yalnızca eğitim …

21 cross-validation  validation  out-of-sample 

Çapraz doğrulama dışında hiperparametre ayarlaması yapmanın, dış geçerliliğin yanlı yüksek tahminlerine yol açabileceğini biliyorum, çünkü performansı ölçmek için kullandığınız veri seti özellikleri ayarlamak için kullandığınız veri kümesiyle aynıdır. Merak ettiğim bir problemin ne kadar kötü olduğu . Özellik seçimi için nasıl kötü olacağını anlayabiliyorum, çünkü bu size ayarlamanız gereken çok …

20 cross-validation  validation  hyperparameter 

Geleneksel frekansçı istatistik alanındaki tahmin modellerini doğrulamak için yöntem ve yazılım geliştirmeye çok zaman ayırdım. Daha fazla Bayesci fikri hayata geçirirken ve öğretirken kucaklamak için bazı önemli farklılıklar görüyorum. Birincisi, Bayes öngörülü modelleme analistten aday özelliklerine göre özelleştirilebilen önceki dağılımlar hakkında çok düşünmesini ister ve bu öncelikler modeli kendilerine çeker …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

İlk olarak, sonuçların olasılığını verir. Örneğin ABD seçimleri için tahminleri şu anda% 82 Clinton vs% 18 Trump. Şimdi, Trump kazansa bile, kazanması gereken zamanın sadece% 18'i olmadığını nasıl bilebilirim? Diğer sorun ise olasılıklarının zaman içinde değişmesidir. 31 Temmuz'da Trump ve Clinton arasında neredeyse 50-50 idi. Sorum şu, aynı sonuca sahip …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Permütasyon testleri (randomizasyon testi, yeniden randomizasyon testi veya kesin test olarak da adlandırılır) çok faydalıdır ve örneğin normal dağıtım varsayımı t-testkarşılanmadığında ve değerlerin parametrik olmayan test Mann-Whitney-U-test, daha fazla bilginin kaybolmasına neden olur. Bununla birlikte, bu tür bir test kullanılırken bir ve sadece bir varsayım göz ardı edilmemelidir, örneklerin sıfır …

16 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

Scikit, modellerimizi belirli bir X, y çiftinde kalibre etmemizi sağlayan CalibratedClassifierCV'ye sahiptir . Ayrıca açıkça belirtiyor kidata for fitting the classifier and for calibrating it must be disjoint. Ayrılmaları gerekiyorsa, sınıflandırıcıyı aşağıdakilerle eğitmek meşru mudur? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Aynı eğitim setini kullanarak disjoint datakuralı ihlal ettiğimden korkuyorum . …

16 cross-validation  scikit-learn  validation  train  calibration 

Verileri bir Test kümesine ve Doğrulama kümesine bölmenin arkasındaki nedeni anlıyorum. Ayrımın büyüklüğünün duruma bağlı olacağını, ancak genellikle 50/50 ila 90/10 arasında değişeceğini de anlıyorum. Yazımı düzeltmek ve ~ 5m cümlelerden oluşan bir veri kümesiyle başlamak için bir RNN oluşturdum. 500k cümle tıraş ettim ve kalan ~ 4.5m cümle ile …

15 machine-learning  neural-networks  validation 

"Önyükleme doğrulaması" / "çapraz doğrulamayı yeniden örnekleme" benim için yeni, ancak bu sorunun cevabı ile tartışıldı . 2 tür veri içerir: Simüle edilmiş veriler gerçek verilerle aynı boyuta ulaşıncaya kadar değiştirilerek yeniden örnekleme ile gerçek verilerden belirli bir simüle edilmiş veri kümesi oluşturulduğu gerçek veriler ve simüle edilmiş veriler. Bu …

15 cross-validation  bootstrap  validation  resampling