«cross-validation» etiketlenmiş sorular

Bana göre, tutma onayının işe yaramaz olduğu görünüyor. Yani, orijinal veri setini iki bölüme ayırmak (eğitim ve test) ve test puanını genelleme ölçütü olarak kullanmak bir şekilde işe yaramaz. K-fold cross-validation, genelleme için daha iyi yaklaşımlar veriyor gibi görünüyor (her noktada eğitiyor ve test ediyor). Öyleyse neden standart bekletme onayını …

54 machine-learning  cross-validation  validation 

İstatistiksel öğrenmede, dolaylı veya açık bir şekilde, kişi her zaman eğitim setinin giriş / yanıt dosyasından oluştuğunu varsayar. vardır , bağımsız bir şekilde, aynı ortak dağılım çekilen ileD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNp ( X , Y )(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) p({\bf{X}}) ve belirli …

54 machine-learning  cross-validation  non-independent  iid 

Tabakalı çapraz doğrulama ile çapraz doğrulama arasındaki fark nedir ? Wikipedia diyor ki: Gelen tabakalı k-kat çapraz doğrulama ortalama cevap değeri her kat içinde yaklaşık olarak eşit olduğu şekilde, katlar seçilir. İkili bir sınıflandırma söz konusu olduğunda, bu, her katlamanın kabaca iki sınıf etiket türünün aynı oranlarını içerdiği anlamına gelir. …

54 cross-validation  stratification 

İle iyi eski regresyon problemi düşünün belirleyicileri ve örnek büyüklüğü . Her zamanki bilgelik, OLS tahmincisinin fazladan donacağı ve genel olarak ridge regresyon tahmincisi tarafından daha iyi şekillendirileceğidir:Optimal düzenlileştirme parametresi bulmak için çapraz doğrulama kullanmak standarttır . Burada 10 kat CV kullanıyorum. Açıklama güncellemesi: olduğunda "OLS tahmincisi" tarafından tarafından verilen …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Tüm verilerimi veya katlamalarımı (CV uygulanmışsa) aynı anda mı değiştirebilirim? Örneğin (allData - mean(allData)) / sd(allData) Tren seti ve test setini ayrı ayrı değiştirebilir miyim? Örneğin (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Yoksa tren takımını değiştirip test setinde hesaplamaları kullanabilir miyim? Örneğin (trainData - mean(trainData)) / …

47 r  cross-validation  data-transformation  normalization  standardization 

Hesaplama gücü hususları bir yana, çapraz onaylamada katlanma sayısının arttırılmasının daha iyi model seçimi / onaylamaya yol açtığına inanmak için herhangi bir sebep var mı (yani kat sayısı arttıkça daha iyi)? Tartışmayı aşırı uç noktaya götürmek, dışarıda bırakmayı bırakma çapraz doğrulama mutlaka -katlı çapraz doğrulamadan daha iyi modellere yol açar …

47 cross-validation  bias-variance-tradeoff 

Merak ediyorum, aralarındaki farkları tartışan ve her birinin ne zaman kullanılacağına dair bir rehber içeren çapraz doğrulama tekniklerinin bir özetini bilen var mı merak ediyorum. Vikipedi'nin en yaygın teknikleri içeren bir listesi var , ancak başka teknikler olup olmadığını ve onlar için herhangi bir taksonomi olup olmadığını merak ediyorum. Örneğin, …

43 cross-validation 

Tek bir standart hata kuralının para cezası lehine kullanılmasını haklı çıkaran ampirik çalışmalar var mı? Açıkçası, verilerin veri oluşturma sürecine bağlıdır, ancak büyük bir veri kümesini analiz eden herhangi bir şey çok ilginç bir okuma olacaktır. Modeller çapraz onaylama yoluyla (veya daha genel olarak herhangi bir randomizasyon temelli prosedür aracılığıyla) …

38 cross-validation  model-selection  regularization 

TL, DR: O görünür aksine tavsiye sık sık tekrarlanan, çapraz doğrulama (Loo-CV) terk-on Çıkış - olup,ile kat CV(kat sayısı) eşit(numara Eğitim gözlemlerinin) -Model / algoritma, veri seti veya her ikisinde debelirli bir stabilite koşuluvarsayarsak, en değişken değil,herhangi biriçinen az değişkenolan genelleme hatasının tahminlerini verir(hangisinden emin değilim) bu kararlılık durumunu gerçekten …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Tüm bağlamlarda çapraz onaylamaya aşinayım, yalnızca öngörücü doğruluğu artırmak amacıyla kullanılır. Değişkenler arasındaki tarafsız ilişkilerin tahmininde çapraz doğrulama mantığı geliştirilebilir mi? İken bu Richard Berk tarafından kağıt "nihai" regresyon modelinde parametre seçimi için numunenin dışarı beklemeye kullanımını gösterir (ve adım adım parametre seçimi iyi bir fikir değildir neden gösteriyor), hala …

37 cross-validation  causality 

Sınıflandırma ve regresyon için tahmine dayalı modeller oluşturmak için R'deki şapka paketini kullanıyorum . Caret, çapraz doğrulama veya önyükleme kayışı yoluyla model hiper parametrelerini ayarlamak için birleştirilmiş bir arayüz sağlar. Örneğin, sınıflandırma için basit bir 'en yakın komşular' modeli oluşturuyorsanız, kaç tane komşu kullanmalısınız? 2? 10? 100? Caret, verilerinizi yeniden …

37 r  time-series  cross-validation 

Model seçimi yapmak için (örneğin; hiperparametre ayarı gibi) ve en iyi modelin performansını değerlendirmek için çapraz doğrulama kullanılırken, iç içe çapraz doğrulama kullanılmalıdır . Dış döngü modelin performansını değerlendirmek içindir ve iç döngü en iyi modeli seçmektir; Model her bir dış eğitim setinde (iç CV halkası kullanılarak) seçilir ve performansı …

36 cross-validation  model-selection  ridge-regression 

Durumum için hangi çapraz doğrulama yönteminin en iyisi olduğunu bulmaya çalışıyorum. Aşağıdaki veriler sadece (R cinsinden ) konu üzerinde çalışmak için bir örnektir, fakat benim gerçek Xverilerim ( xmat) birbirleriyle ve ydeğişken ( ymat) değişkeniyle farklı derecelerle ilişkilendirilmektedir . R kodu verdim, ancak sorum R ile ilgili değil, yöntemlerle ilgili. …

36 r  regression  cross-validation  linear-model 

Birden fazla ikili etiket setine sahip olduğum bir veri setim var. Her bir etiket kümesi için, bir sınıflandırıcı hazırlıyorum, çapraz onaylama yaparak değerlendiriyorum. Temel bileşen analizi (PCA) kullanarak boyutsallığı azaltmak istiyorum. Sorum şu: PCA'nın tüm veri kümesi için bir kez yapılması ve daha sonra yukarıda açıklandığı gibi çapraz doğrulama için …

35 machine-learning  classification  pca  cross-validation 

CrossValidated'da model seçimi ve çapraz onaylama konusunda sayısız konu vardır. Burda biraz var: Dahili ve harici çapraz doğrulama ve model seçimi @ DikranMarsupial'ın Özellik seçimi ve çapraz doğrulama için en iyi cevabı Bununla birlikte, bu konulara verilen cevaplar oldukça geneldir ve çoğunlukla geçerlilik testi ve model seçimine yönelik özel yaklaşımlarla …

34 cross-validation  model-selection