«cross-validation» etiketlenmiş sorular

0'dan 1'e birglmnet ızgarası üzerinde lambda değerleri seçerek R'deki paketi kullanarak sağlık veri setinde elastik-net bir lojistik regresyon yapıyorum. Kısaltılmış kodum aşağıda:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} bu, her bir alfa değeri için ortalama çaprazlama hatasını bir …

22 machine-learning  cross-validation  glmnet  elastic-net 

Anladığım kadarıyla, uygun çapraz doğrulama ve model seçim prosedürlerini takip ederken bile , model karmaşıklığı üzerine bir kısıtlama getirmediği sürece, bir modeli yeterince zor arayacaksa , fazladan takma gerçekleşecek . Dahası, çoğu kez insanlar, sağlayabilecekleri korumayı baltalayan verilerden model karmaşıklığı ile ilgili cezaları öğrenmeye çalışırlar. Sorum şu: Yukarıdaki açıklamaya ne …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Not: Dava n >> p İstatistiksel Öğrenme Öğelerini okuyorum ve çapraz doğrulama yapmanın "doğru" yoluyla ilgili çeşitli görüşler var (örneğin sayfa 60, sayfa 245). Spesifik olarak sorum, son modelin (ayrı bir test seti olmadan) k-fold CV kullanarak veya bir model araması yapıldığında önyükleme kullanarak nasıl değerlendirileceğidir? Çoğu durumda (gömülü özellik …

21 machine-learning  model-selection  data-mining  cross-validation 

K-kat doğrulaması hakkında okuyordum ve nasıl çalıştığını anladığımdan emin olmak istiyorum. Muhafaza yöntemi için, verilerin üç sete ayrıldığını ve test setinin yalnızca modelin performansını değerlendirmek için kullanıldığını, doğrulama setinin hiperparametreleri ayarlamak için kullanıldığını biliyorum. K-katlama yönteminde, yine de son için bir test seti tutuyor muyuz ve kalan verileri yalnızca eğitim …

21 cross-validation  validation  out-of-sample 

Aynı veri kümesine sahip farklı ikili sınıflandırma algoritmaları üzerinde 10 kat çapraz doğrulama yaptım ve hem Mikro hem de Makro ortalamaları aldım. Bunun çok etiketli bir sınıflandırma sorunu olduğu belirtilmelidir. Benim durumumda, gerçek negatifler ve gerçek pozitifler eşit ağırlıklı. Bu, gerçek negatifleri doğru tahmin etmek, doğru pozitifleri doğru tahmin etmek …

21 machine-learning  cross-validation 

Orijinal veri kümesini sınıflandırma için eğitim ve test setine bölerken rastgele örnekleme yerine tabakalı örnekleme kullanmanın herhangi bir / bazı avantajları olup olmadığını bilmek istiyorum. Ayrıca, tabakalı örnekleme sınıflandırıcıya rastgele örneklemeden daha fazla yanlılık getirir mi? Veri hazırlama için tabakalı örnekleme kullanmak istediğim uygulama, orijinal veri kümesinin üzerinde eğitilmiş bir …

21 classification  cross-validation  random-forest  train  stratification 

Çapraz doğrulama dışında hiperparametre ayarlaması yapmanın, dış geçerliliğin yanlı yüksek tahminlerine yol açabileceğini biliyorum, çünkü performansı ölçmek için kullandığınız veri seti özellikleri ayarlamak için kullandığınız veri kümesiyle aynıdır. Merak ettiğim bir problemin ne kadar kötü olduğu . Özellik seçimi için nasıl kötü olacağını anlayabiliyorum, çünkü bu size ayarlamanız gereken çok …

20 cross-validation  validation  hyperparameter 

Ben 5 sınıf vardır ve her örnek bu sınıflardan biri veya daha fazla olabilir bir veri kümesi üzerinde farklı sınıflandırıcılar test ediyorum, bu yüzden özellikle scikit-learn çok etiketli sınıflandırıcılar kullanıyorum sklearn.multiclass.OneVsRestClassifier. Şimdi kullanarak çapraz doğrulama yapmak istiyorum sklearn.cross_validation.StratifiedKFold. Bu, aşağıdaki hatayı üretir: Traceback (most recent call last): File "mlfromcsv.py", line …

20 cross-validation  python  multi-class  scikit-learn  multilabel 

C-SVC modunda libsvm'yi derece 2 polinom çekirdeği ile kullanıyorum ve birden fazla SVM eğitmem gerekiyor. Her eğitim setinde 10 özellik ve 5000 vektör bulunur. Eğitim sırasında, eğittiğim SVM'lerin çoğu için bu uyarıyı alıyorum: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 Birisi bu uyarının ne anlama geldiğini …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Hiyerarşik bir model verildiğinde, modele uyması için iki aşamalı bir işlem istiyorum. İlk olarak, bir avuç hiperparametre düzeltin ve daha sonra parametrelerinin geri kalanında Bayesian çıkarım yapın . Hiperparametreleri sabitlemek için iki seçenek düşünüyorum.θ ϕp ( x | ϕ , θ )p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaφϕ\phi Ampirik Bayes (EB) kullanın ve marjinal olasılığını en …

20 cross-validation  references  empirical-bayes 

İlişkili değişkenleri seçmek için iki yaygın yaklaşım, önem testleri ve çapraz validasyondur. Her biri hangi sorunu çözmeye çalışıyor ve ne zaman diğerini tercih ederim?

20 cross-validation  feature-selection 

Hassasiyet şu şekilde tanımlanır: p = true positives / (true positives + false positives) Gibi, bu doğru mu true positivesve false positiveshassas 1 yaklaşır yaklaşım 0? Hatırlama için aynı soru: r = true positives / (true positives + false negatives) Şu anda bu değerleri hesaplamam gereken bir istatistiksel test uyguluyorum …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Geleneksel frekansçı istatistik alanındaki tahmin modellerini doğrulamak için yöntem ve yazılım geliştirmeye çok zaman ayırdım. Daha fazla Bayesci fikri hayata geçirirken ve öğretirken kucaklamak için bazı önemli farklılıklar görüyorum. Birincisi, Bayes öngörülü modelleme analistten aday özelliklerine göre özelleştirilebilen önceki dağılımlar hakkında çok düşünmesini ister ve bu öncelikler modeli kendilerine çeker …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

R yapar carethem de üzerinde paket çapraz geçerli hale getirmesi alphave lambdaiçin glmnetbir model? Bu kodu çalıştırdığınızda, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, …

20 r  machine-learning  cross-validation  caret  glmnet 

Topluluk öğreniminin k-kat çapraz doğrulaması için verilerin nasıl bölümleneceği konusunda kafam karıştı. Sınıflandırma için bir topluluk öğrenme çerçevem ​​olduğunu varsayarsak. İlk katmanım svm, karar ağaçları gibi sınıflandırma modellerini içeriyor. İkinci katmanım, ilk katmandaki tahminleri birleştiren ve son tahmini veren bir oylama modeli içeriyor. 5 kat çapraz doğrulama kullanırsak, 5 kat …

20 classification  cross-validation  ensemble