K-fold ve Monte Carlo çapraz doğrulama

Öncelikle denetlenen çok değişkenli analiz tekniklerine başvurmak amacıyla çeşitli çapraz doğrulama yöntemlerini öğrenmeye çalışıyorum. Karşılaştığım iki K-kat ve Monte Carlo çapraz doğrulama teknikleri. K-fold'ın Monte Carlo'daki bir varyasyon olduğunu okudum ama Monte Carlo'nun tanımını neyin yaptığını tam olarak anladığımdan emin değilim. Birisi lütfen bu iki yöntem arasındaki farkı açıklayabilir mi?

Kat Çapraz Doğrulama$k$

100 veri noktanız olduğunu varsayalım. İçin çapraz doğrulama kat, ayrılır, bu 100 puan k boyutlu ve karşılıklı münhasır 'kat' eşittir. İçin k = 10, sen puanları 1-10 2. katlamak 1., 11-20 katlamak atayabilirsiniz ve benzeri, 10. katlamak atama noktaları 91-100 ile bitirme. Ardından, test seti olarak hareket etmek için bir kat seçeriz ve kalan k - 1 katları egzersiz verilerini oluşturmak için kullanırız. İlk çalıştırmada, test seti olarak 1-10 ve eğitim seti olarak 11-100 puanları kullanabilirsiniz. Bir sonraki çalıştırma, test seti olarak 11-20 noktalarını kullanır ve her katlama test seti olarak bir kez kullanılıncaya kadar 1-10 ve 21-100 arasındaki noktalara ilerler.$k$$k$$k$$k-1$

Monte-Carlo Çapraz Doğrulama

Monte Carlo biraz farklı çalışıyor. Eğitim setini oluşturmak için rastgele verilerinizin bir kısmını (değiştirilmeden) seçersiniz ve ardından kalan noktaları test setine atarsınız. Bu işlem daha sonra birçok kez tekrarlanır, (rastgele) her seferinde yeni eğitim ve test bölümleri oluşturur. Örneğin, verilerinizin% 10'unu test verileri olarak kullanmayı tercih ettiğinizi varsayalım. Öyleyse rep # 1'deki test setiniz 64, 90 , 63, 42 , 65, 49, 10, 64, 96 ve 48 puan olabilir. Bir sonraki çalıştırmada test setiniz 90 , 60, 23, 67, 16, 78, 42 , 17, 73 ve 26. Her bölüm için bölümler bağımsız olarak yapıldığından, aynı nokta test setinde birden çok kez görünebilir.Monte Carlo ve çapraz doğrulama arasındaki en büyük fark budur .

karşılaştırma

Her yöntemin kendi avantajları ve dezavantajları vardır. Çapraz onaylama altında, her nokta tam olarak bir kez test edilir, ki bu adil görünmektedir. Bununla birlikte, çapraz doğrulama, verilerinizin bölümlenmesinin olası yollarından yalnızca birkaçını araştırır. Vardır - Monte Carlo sen hepsini alma ihtimaliniz çok olsa da, biraz daha olası bölümleri keşfetmenize olanak tanır olası 100 yoldan 50/50 ayırma yolu; (!).$\binom{100}{50} \approx 10^{28}$

Çıkarım yapmaya çalışıyorsanız (yani, iki algoritmayı istatistiksel olarak karşılaştırın), bir katlama çapraz doğrulama çalışmasının sonuçlarının ortalaması alındığında , algoritmanın performansının (neredeyse) tarafsız bir tahminini elde edersiniz, ancak yüksek varyansla (olduğu gibi) sadece 5 veya 10 veri noktasına sahip olmayı bekler). Prensip olarak, istediğiniz kadar parası yetebildiği sürece çalıştırabileceğiniz için, Monte Carlo çapraz doğrulama size daha az değişken fakat daha taraflı bir tahmin verebilir.$k$

Bazı yaklaşımlar, 5x2 çapraz onaylamada olduğu gibi ikisini birleştiriyor ( o zamandan beri daha fazla gelişme olduğunu düşünüyorum) veya önyargıları düzelterek (örneğin, Nadeau ve Bengio, 2003 ) , fikir için Dietterich'e (1998) bakınız. .

Diyelim ki , veri kümesinin büyüklüğü, k , k kat alt kümelerin sayısı, n t ise eğitim setinin büyüklüğü ve n v , validasyon setinin büyüklüğüdür. Bu nedenle, N = k x , n hacim için k çapraz doğrulama kat ve N = N t + n v Monte Carlo çapraz doğrulama için.$N$$k$$k$$n_t$$n_v$$N = k \times n_v$$k$$N = n_t + n_v$

kat çapraz doğrulama$k$(kFCV) böler halinde veri noktaları k eşit büyüklükte birbirini dışlayan alt-. İşlem daha sonra k altkümelerindenbirinibir doğrulama kümesi olarakbırakırve kalan alt kümeler üzerinde ilerler. Bu işlem,her seferinde k altkümelerindenbirini dışarıda bırakarak k keretekrarlanır. Büyüklüğü k arasında olabilir N için 2 ( k = N çapraz doğrulama bırakılan bir çıkış olarak adlandırılır). [2] 'deki yazarlar k = 5 veya 10 ayarını önermektedir.$N$$k$$k$$k$$k$$k$$N$$2$$k = N$$k = 5$$10$

Monte Carlo çapraz doğrulama (MCCV) sadece böler , iki alt-grup halinde veri noktaları , n , t ve n, v değiştirme olmadan, örnekleme ile , n t veri noktaları. Model, daha sonra alt kümesine eğitilmiştir n t ve alt kümesine doğrulanmış$N$$n_t$$n_v$$n_t$$n_t$ .Orada'da varoldukları için ($n_v$benzersiz eğitim setleri, ancak MCCV bu kadar tekrarlamayı çalıştırma gereğini ortadan kaldırır. Zhang [3], MCCV’nin${N\choose n_t}$ yineleme tüm çapraz doğrulama yakın sonuçlar verir ($N^2$benzersiz eğitim setleri. Literatürün geniş N için araştırma yapmadığı unutulmamalıdır. ${N\choose n_t}$

Seçimi ve n t önyargı / varyans ticaret kapalı etkiler. Daha büyük k ya da n- t , önyargı ve daha yüksek varyans indirin. Daha büyük egzersiz setleri tekrarlamalar arasında daha benzer, bu nedenle egzersiz verilerine uyuyor. Bu tartışma hakkında daha fazla bilgi için [2] ye bakınız. KFCV ve MCCV yanlılık ve varyans farklıdır, ancak iki yöntem yanlılık uygun seviyede seçerek eşit yapılabilir k ve n, t . Her iki yönteme yönelik önyargı ve varyans değerleri [1] 'de gösterilmiştir (bu makale, tekrarlanan öğrenme testi modeli olarak MCCV'ye atıfta bulunur).$k$$n_t$$k$$n_t$$k$$n_t$

$v$

[2] Hastie, T., Tibshirani, R. ve Friedman, J. (2011). İstatistiksel Öğrenmenin Ögeleri: Veri Madenciliği, Çıkarım ve Tahmin. İkinci basım. New York: Springer.

[3] Zhang, P. (1993). Muiltfold Cross Validation ile Model Seçimi. Ann. Stat. 21 299–313

Diğer iki cevap harika, ben sadece iki resim yanı sıra bir eş ekleyeceğim.

K-kat çapraz doğrulama (kFCV):

Monte Carlo çapraz doğrulama (MCCV) = Tekrarlanan rastgele alt örnekleme doğrulama (RRSSV):

Referanslar:

Resimler (1) den geliyor sayfa 64 ve 65 ) gelmektedir ve eş anlamlı (1) ve (2) de belirtilmiştir.

• (1) Remesan, Renji ve Jimson Mathew. Hidrolojik Verilere Dayalı Modelleme: Bir Vaka Çalışması Yaklaşımı . Vol. 1. Springer, 2014.

• (2) Dubitzky, Werner, Martin Granzow ve Daniel P. Berrar, eds. Genomik ve proteomik alanındaki veri madenciliğinin temelleri . Springer Bilim ve İş Medyası, 2007.