«cross-validation» etiketlenmiş sorular

Tartışma: İkili sınıflandırma için bir roc eğrisinin nasıl üretileceğini , sanırım kargaşanın bir "ikili sınıflandırıcı" nın (2 sınıfı ayıran herhangi bir sınıflandırıcı olan) Yang için "ayrık sınıflandırıcı" olarak adlandırıldığı (bunun üreten olduğu) olduğunu düşünüyorum. kesikli çıkışlar bir SVM gibi 0/1 çıkışları ve ANN veya Bayes sınıflandırıcıları gibi sürekli çıkışlar değil …

25 cross-validation  roc  auc 

Bazı verilerim var ve bu verilerden bir model oluşturmak (doğrusal bir regresyon modeli demek) istiyorum. Bir sonraki adımda, modele Model Bir-Out-Out-Cross-Validation (LOOCV) uygulamak istiyorum; LOOCV'nin doğru olduğunu anladıysam, bu örnek dışındaki her örneği (eğitim seti) kullanarak, numunelerimin her biri için (test seti) yeni bir model oluşturdum. Daha sonra modeli test …

25 cross-validation 

İç içe çapraz doğrulama yapıyorum. Dışarıda bırakma çapraz doğrulama işleminin önyargılı olabileceğini okudum (nedenini hatırlamıyorum). Dışarıda bırakma çapraz doğrulama için daha uzun çalışma süresi dışında 10 kat çapraz doğrulama veya bir kez dışarıda bırakılma çapraz doğrulama kullanılması daha mı iyidir?

25 machine-learning  cross-validation 

Bir sınıflandırıcının belirli bir veri setindeki performansını değerlendirmek ve diğer sınıflayıcılarla karşılaştırmak için en uygun örnekleme yöntemi nedir? Çapraz onaylama standart bir uygulama gibi görünmektedir, ancak .632 önyükleme gibi yöntemlerin daha iyi bir seçim olduğunu okudum. Bir takip olarak: Performans ölçütü seçimi cevabı etkiler mi (doğruluk yerine AUC kullanırsam)? Nihai …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

K-fold cross-validation'ın tanıtıldığı makaleye bir referans arıyorum (sadece konu için iyi bir akademik referans değil). Belki de ilk makaleyi açıkça tanımlamak için zamanın çok gerisindedir, bu nedenle fikrin kullanıldığı herhangi bir erken makale ilgi çekici olurdu. Bildiğim en erken PA Lachenbruch ve MR Mickey, “Diskriminant analizinde hata oranlarının tahmini”, Technometrics, …

24 cross-validation  references 

Lamda'nın esnek-net bir regresyonda oynadığı rolü anlıyorum. Ve neden lambda.min'i seçtiğini anlayabiliyorum, çapraz doğrulanmış hatayı en aza indiren lambda'nın değeri. Benim sorum şudur : İstatistik literatüründe lambda.1se kullanımı tavsiye edilir, yani CV hatasını artı bir standart hatayı en aza indiren lambda değeri nedir? Resmi bir alıntı ya da bunun genellikle …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Çapraz doğrulama (CV) istatistiği ve doğrusal bir model Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon (normal, homoscedastic error vector \ ile) ile ilişkili genelleştirilmiş çapraz doğrulama (GCV) istatistiği için muhtemelen çelişkili tanımlar buldum. cıvataları \ varepsilonεε\boldsymbol\varepsilon ). Bir yandan, Golub, Heath ve Wahba GCV tahminini λ^λ^\hat{\lambda} olarak tanımladı (s. 216). arasında asgarileştirir …

23 cross-validation 

Bu sabah merak ederek uyandım (bu, dün gece fazla uyuyamadığım gerçeğinden kaynaklanıyor olabilir): çapraz doğrulama doğru zaman serisi tahmininin temel taşı gibi göründüğü için, normalde ne yapmalıyım? "karşı doğrulamak? Birkaç (kolay) olanla geldim ama kısa süre sonra hepsinin ARIMA modellerinin özel durumları olduğunu farkettim. Bu yüzden şimdi merak ediyorum ve …

23 time-series  cross-validation  arima 

Bir zaman serisi ayarında model seçimi ile ilgileniyorum. Somutluk için, farklı gecikme sıralarına sahip bir ARMA model havuzundan bir ARMA modelini seçmek istediğimi varsayalım. Nihai amaç tahmin etmek . Model seçimi yapılabilir çapraz doğrulama, bilgi kriterlerinin kullanılması (AIC, BIC), diğer yöntemlerin yanı sıra. Rob J. Hyndman, zaman serileri için çapraz …

23 time-series  forecasting  cross-validation  model-selection  aic 

Duygusal sınıflandırma ve ilgili konular hakkında birçok araştırma makalesi okudum. Çoğu, sınıflandırıcıları eğitmek ve test etmek için 10 kat çapraz doğrulama kullanır. Bu, ayrı bir test / doğrulama yapılmadığı anlamına gelir. Neden? Özellikle araştırma yapanlar için bu yaklaşımın avantajları / dezavantajları nelerdir?

23 classification  cross-validation 

Çapraz Doğrulama ile Doğrusal Model Seçimi adlı makalesinde , Jun Shao, çok değişkenli doğrusal regresyonda değişken seçimi problemi için, bir kez dışarıda bırakılma çapraz doğrulama yönteminin (LOOCV) 'asimptotik olarak tutarsız' olduğunu göstermektedir. Düz İngilizce olarak, çok değişkenli modelleri seçme eğilimindedir. Bir simülasyon çalışmasında, Shao, en az 40 gözlem için bile, …

23 classification  model-selection  cross-validation 

tanıtım: Klasik "büyük p, küçük n problemi" olan bir veri kümem var. Mevcut sayıların sayısı n = 150 iken olası yordayıcıların sayısı p = 400'dür. Sonuç sürekli bir değişkendir. En "önemli" tanımlayıcıları, yani sonucu açıklamak ve bir teori oluşturmaya yardımcı olmak için en iyi aday olanları bulmak istiyorum. Bu konuda …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

(Doğrusal) karışık etki modelleri normal olarak birbirleriyle nasıl karşılaştırılır? Olasılık oranı testlerinin kullanılabileceğini biliyorum, ancak bir model diğerinin 'altkümesi' değilse, bu işe yaramaz mı? Modellerin tahmini df her zaman basit midir? Sabit etki sayısı + varyans bileşenlerinin sayısı tahmin edildi mi? Rastgele etki tahminlerini görmezden mi geliyoruz? Peki ya doğrulama? …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Çeşitli modeller veya eklenecek özelliklerin arasında seçim yapmaya çalışırken, iki yaklaşım düşünebileceğimi tahmin ediyorum. Verileri eğitim ve test setlerine ayırın. Daha da iyisi, önyükleme ya da k-kat çapraz doğrulama kullanın. Her seferinde egzersiz setini eğitin ve test setindeki hatayı hesaplayın. Plot test hatası - parametre sayısı. Genellikle, böyle bir şey …

22 bayesian  model-selection  cross-validation  feature-selection 

Pastaneden tarihi satış verilerim var (günlük, 3 yıldan fazla). Şimdi gelecekteki satışları tahmin etmek için bir model oluşturmak istiyorum (hafta içi, hava değişkenleri vb. Özellikleri kullanarak). Modelleri yerleştirmek ve değerlendirmek için veri setini nasıl bölmeliyim? Kronolojik bir tren / validasyon / test bölümü olması gerekiyor mu? Daha sonra hiperparametreyi tren …

22 cross-validation  partitioning