«cross-validation» etiketlenmiş sorular

Tahmin veya tahminle değil, yalnızca model parametrelerini tahmin etmek (ve yorumlamak) ile ilgileniyorsak, düzenlileştirme yardımcı olabilir mi? Amacınız yeni veriler üzerinde iyi tahminler yapmaksa, normalleştirme / çapraz doğrulamanın son derece yararlı olduğunu görüyorum. Peki ya geleneksel ekonomi yapıyorsanız ve tek umduğunuz şey tahmin etmek ? Çapraz doğrulama da bu bağlamda …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Ders kitaplarında ve youtube derslerinde destekleme gibi yinelemeli modeller hakkında çok şey öğrendim, ama bir tahmin aralığı türetmekle ilgili hiçbir şey görmedim. Çapraz doğrulama aşağıdakiler için kullanılır: Model seçimi : Farklı modelleri deneyin ve en uygun olanı seçin. Artırma durumunda, ayarlama parametrelerini seçmek için CV kullanın. Model değerlendirmesi : Seçilen …

19 cross-validation  boosting  prediction-interval 

K-kat çapraz doğrulama (k = 5) kullanarak JAGS bir Bayesian HLM takıyorum. parametresinin tüm kıvrımlarda sabit olup olmadığını bilmek istiyorum . Bunu yapmanın en iyi yolu nedir?ββ\beta Bir fikir posteriorlarının farklarını bulmak ve 0'ın farkın% 95 CI'sinde olup olmadığını görmek. Başka bir deyişle, % 95 aralığında (ve sonra tüm kat …

19 bayesian  cross-validation 

Ben 140000 örnek bir veri kümesi ve bunun için bir ikili sınıflandırma (SVM, Lojistik Regresyon, Rastgele Orman vb.) Çoğu durumda, Izgara veya Rastgele arama kullanarak tüm veri kümesinde hiperparametre ayarı çok masraflıdır. Aşağıdaki tekniği kullanmaya başladım Veri kümemdeki alt örnek Hiperparametreleri ayarlamak için elde edilen fraksiyonu kullanın Veri kümesinin tamamını …

19 machine-learning  cross-validation  hyperparameter 

Sınıflandırıcının performansına erişmek için verileri eğitim / test setine bölmem gerektiğini biliyorum. Ama bunu okumak : Bir SVM için manuel olarak ayarlanması gereken C ayarı gibi tahminciler için farklı ayarlar (“hiperparametreler”) değerlendirilirken, tahminci en iyi şekilde performans gösterene kadar parametreler ayarlanabileceğinden, test setinde aşırı uyum riski vardır. Bu şekilde, test …

18 machine-learning  cross-validation 

Kaynaktan İstatistiksel Öğrenme An Introduction James ve diğ., Çapraz doğrulama bırakılan bir çıkış (LOOCV) tahmini ile tanımlanır CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i buradaMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Kanıt olmadan, denklem (5.2), en küçük kareler veya polinom regresyonu için (bunun sadece bir değişken üzerindeki regresyon için geçerli olup olmadığı bilinmemektedir), CV(n)=1n∑i=1n(yi−y^i1−hi)2CV(n)=1n∑i=1n(yi−y^i1−hi)2\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2 …

18 regression  self-study  cross-validation  least-squares 

K = 10 kat ile K-kat çapraz doğrulaması yaptığımı varsayalım. Her kat için bir karışıklık matrisi olacaktır. Sonuçları bildirirken ortalama karışıklık matrisinin ne olduğunu hesaplamalı mıyım yoksa sadece karışıklık matrislerini toplamalı mıyım?

18 machine-learning  cross-validation  accuracy 

cv.glmnetÖngörüleri bulmak için kullanıyorum . Kullandığım kurulum aşağıdaki gibidir: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Sonuçların tekrarlanabilir olduğundan emin olmak için I set.seed(1) . Sonuçlar oldukça değişkendir. Sonuçların ne kadar değişken olduğunu görmek için aynı kodu 100 koştum. 98/100 çalışmalarında her zaman belirli bir öngörücü seçildi (bazen sadece kendi başına); diğer …

18 r  cross-validation  feature-selection  glmnet 

En az bir önemli değişken üzerinde N ~ 5000 ve yaklaşık 1/2 eksik olan bir veri setim var. Ana analitik yöntem Cox orantılı tehlikeler olacaktır. Birden fazla dürtü kullanmayı planlıyorum. Ayrıca bir tren ve test setine ayrılacağım. Verileri bölmeli ve sonra ayrı ayrı mı, yoksa impute edip sonra mı bölmeliyim? …

18 cross-validation  survival  multiple-imputation  train 

Herkes bana bir çapraz geçerlilik analizinin sonuç olarak tam olarak ne verdiğini söyleyebilir mi? Sadece ortalama doğruluk mu yoksa ayarlanmış parametrelerle herhangi bir model veriyor mu? Çünkü bir yerde, çapraz ayarlamanın parametre ayarı için kullanıldığını duydum.

18 cross-validation 

Ben rastladım bu konuya arada büyük cevap ve referanslar - bootstrapping ve çapraz doğrulama arasındaki farklar bakıyor. Şimdi merak ediyorum, eğer bir sınıflandırıcının doğruluğunu hesaplamak için tekrar tekrar 10 kat CV söyleyecek olsaydım , kaç kez n tekrarlamalıyım? Does n kıvrımlar sayısına bağlıdır? Örnek boyutu üzerinde? Bunun için bir kural …

18 cross-validation 

Diyelim ki normal veri dağıtımı yaptım. Verilerin her bir elemanı için ortalamadan kaç SD olduğunu kontrol etmek istiyorum. Verilerde bir aykırı değer olabilir (muhtemelen sadece bir, ama aynı zamanda iki veya üç olabilir), ancak bu aykırı temelde aradığım şeydir. Şu anda baktığım öğeyi ortalama ve SD'nin hesaplanmasından geçici olarak hariç …

17 cross-validation  standard-deviation  mean  outliers 

Hava kirleticilerinin kısa vadeli tahminini yapmak için SVM modellerini kullanıyorum. Yeni bir model eğitmek için bir SVM modeli için uygun metaparametreler bulmalıyım (yani C, gama vb.). Libsvm belgeleri (ve okuduğum diğer birçok kitap) bu parametreleri bulmak için ızgara aramayı kullanmanızı önerir - bu yüzden temelde bu parametrelerin her kombinasyonu için …

17 cross-validation  svm 

Bir güven düzeyini denetimli öğrenme olasılığına göre kalibre etmek için (örneğin, bir SVM'den veya aşırı örneklenmiş veriler kullanarak bir karar ağacından güveni haritalamak için) bir yöntem Platt'ın Ölçeklendirmesini kullanmaktır (örn. Kalibre Edilmiş Olasılıkları Artırmaktan Almak ). Temel olarak haritalamak için lojistik regresyon kullanılır [−∞;∞][−∞;∞][-\infty;\infty] ila [0;1][0;1][0;1] . Bağımlı değişken gerçek …

17 logistic  cross-validation  calibration 

İç içe çapraz doğrulama için aşağıdaki mesajları okudum ve hala iç içe çapraz doğrulama ile model seçimi ile ne yapacağım% 100 emin değilim: Model seçimi için iç içe çapraz doğrulama Model seçimi ve çapraz doğrulama: Doğru yol Karışıklığımı açıklamak için, adım adım iç içe çapraz doğrulama yöntemiyle model seçiminden geçmeye …

17 cross-validation  scikit-learn  hyperparameter