Küçük örneklem büyüklüğü verileri için eğitim, çapraz doğrulama ve test seti boyutları nasıl seçilir?

Küçük bir örnek boyutum olduğunu varsayalım, örneğin N = 100 ve iki sınıf. Makine öğrenimi için eğitim, çapraz doğrulama ve test seti boyutlarını nasıl seçmeliyim?

Sezgisel olarak seçerdim

• Eğitim seti boyutu 50
• Çapraz doğrulama seti boyutu 25 ve
• Boyutu 25 olarak test edin.

Ama muhtemelen bu az ya da çok mantıklı. Bu değerlere gerçekten nasıl karar vermeliyim? Farklı seçenekler deneyebilir miyim (sanırım bu çok tercih edilmez ... artan öğrenme olasılığı)?

İkiden fazla sınıfım olsaydı ne olurdu?

• Kesinlikle çok benzer bir soru buldunuz : K-kat çapraz doğrulamasında K seçimi ?
  (Ron Kohavi'nin çalışmasına bağlantı dahil)

• 
  
  $k$ genel olarak tavsiye edilir.

• İlginç bir şekilde, bu çok küçük örneklemli sınıflandırma problemleriyle, doğrulama, iyi bir modelin eğitimine kıyasla (örneklem büyüklüğü ihtiyaçları açısından) genellikle daha zordur.
  Bununla
  ilgili herhangi bir literatüre ihtiyacınız varsa, örneğin örnek büyüklüğü planlaması hakkındaki makalemize bakın : Beleites, C. ve Neugebauer, U. ve Bocklitz, T. ve Krafft, C. ve Popp, J .: Sınıflandırma modelleri için örnek büyüklüğü planlaması. Anal Chim Açta, 2013, 760,25-33. DOI: 10.1016 / j.aca.2012.11.007 arXiv'de
  kabul edilen makale: 1211.1323

• Bir başka önemli nokta, çapraz doğrulamayı (LOO'ya karşı nedenlerden biri olan) tekrarlama / tekrarlama olasılığını iyi kullanmaktır: bu, eğitimin bozulmalarına (yani birkaç farklı vakaya) ilişkin tahminlerin istikrarını ölçmenizi sağlar veri.

  Edebiyat:

  • Beleites, C. & Salzer, R .: Küçük örneklem boyutlarında kemometrik modellerin kararlılığının değerlendirilmesi ve geliştirilmesi Anal Bioanal Chem, 2008, 390, 1261-1271.
    DOI: 10.1007 / s00216-007-1818-6
  • Dixon, SJ; Heinrich, N .; Holmboe, M .; Schaefer, ML; Reed, RR; Trevejo, J. & Brereton, RG: Üç ortak yaklaşıma önceki olasılıkların dahil edilmesiyle grup boyutları eşit olmadığında sınıflandırma yöntemlerinin uygulanması: Simülasyonlara ve fare üriner kemosignallarına uygulama, Chemom Intell Lab Syst, 2009, 99, 111-120.
    DOI: 10.1016 / j.chemolab.2009.07.016

• Bekletme testi kümesinde tek bir çalıştırmaya karar verirseniz (yineleme / tekrar yok),

  • çapraz doğrulamayla (iyimser bir önyargıya yol açacak) yapabileceğiniz hataların çoğunun, bir tutma testi seti ile de olabileceğini unutmayın.
  • performans ölçümü için ortaya çıkan güven aralığının genişliğini kontrol edin ve bunun sonuçların anlamlı bir şekilde yorumlanmasına izin verdiğinden emin olun (bkz. örnek boyutu planlama belgesi).

Örneklem büyüklüğünüzün küçük olması nedeniyle, çapraz doğrulama bölümünü dışarıda bırakmak ve 60-40 veya 70-30 oranını kullanmak iyi bir uygulamadır.

Clementine ve Veri Madenciliğine Giriş bölüm 2.8 ve ayrıca MSDN Kütüphanesi - Veri Madenciliği - Eğitim ve Test Setleri bölümünde de görebileceğiniz gibi, 70 - 30 oranı yaygındır. Andrew Ng'in Machine Learning derslerine göre 60 - 20 - 20 oranında bir oran önerilir.

Umarım yardımcı oldum. Saygılarımla.