K-kat çapraz doğrulaması eğitim / doğrulama / test setleri bağlamına nasıl uyuyor?

Benim asıl sorum, k / kat çapraz doğrulamanın eğitim / doğrulama / test setlerine sahip olma bağlamında nasıl uyduğunu anlamaya çalışmakla ilgilidir (eğer bu bağlamda uyuyorsa).

Genellikle, insanlar verileri bir eğitim, validasyon ve test setine - örneğin Andrew Ng'in kursu başına 60/20/20 oranında) bölmekten söz ederler, böylece doğrulama seti model eğitimi için en uygun parametreleri tanımlamak için kullanılır.

Ancak, veri miktarı nispeten küçük olduğunda daha temsili bir doğruluk ölçüsü elde etmek umuduyla k-kat çapraz doğrulamayı kullanmak isterse, k-kat çapraz doğrulaması yapmanın tam olarak bu 60/20/20 ayrımında yapılması gerekir senaryo?

Örneğin, bu, eğitim ve test setlerini (verilerin% 80'i) gerçekten bir araya getireceğimiz ve doğruluk ölçümümüzü (açık bir 'test setine sahip olmakla etkili bir şekilde atarak) elde etmek için üzerlerinde k-kat çapraz doğrulama yapacağımız anlamına mı gelir? Öyleyse, hangi eğitimli modeli a) üretimde ve b) doğrulama setine karşı kullanmak ve en uygun eğitim parametrelerini belirlemek için kullanıyoruz? Örneğin, a ve b için olası bir cevap belki de en iyi modeli kullanmaktır.

Çapraz doğrulama genellikle bir doğrulama setinden kaçınmaya yardımcı olur.

Eğitim / doğrulama / test veri setleriyle ilgili temel fikir aşağıdaki gibidir:

1. Eğitim: Egzersiz verilerinde farklı hiperparametre seçeneklerine sahip farklı model türleri denersiniz (örneğin, farklı özellik seçimine sahip doğrusal model, farklı katman seçeneklerine sahip sinir ağı, farklı mtry değerlerine sahip rastgele orman).

2. Doğrulama: Adım 1'deki modellerin performansını doğrulama kümesine göre karşılaştırır ve kazananı seçersiniz. Bu, eğitim veri setinin üzerine sığarak alınan yanlış kararların önlenmesine yardımcı olur.

3. Test: Gerçekte ne kadar iyi performans gösterdiğini hissetmek için kazanan modelde test verisini denersiniz . Bu, 2. adımda ortaya konulan aşırı uyumu ortaya çıkarır. Burada, başka bir karar almayacaksınız. Bu sadece açık bir bilgidir.

Şimdi, doğrulama adımını çapraz doğrulama ile değiştirdiğinizde, verilere yapılan saldırı neredeyse aynı şekilde yapılır, ancak sadece bir eğitiminiz ve bir test veri setiniz vardır. Doğrulama veri kümesine gerek yoktur.

1. Eğitim: Yukarıya bakınız.

2. Doğrulama: Çapraz doğrulama performansıyla ilgili olarak Adım 1'in en iyi modelini seçmek için eğitim verilerinde çapraz doğrulama yaparsınız (burada, orijinal eğitim verileri tekrar tekrar geçici bir eğitim ve doğrulama kümesine ayrılır). Çapraz doğrulamada hesaplanan modeller, yalnızca tam eğitim setinde hesaplanan 1. Adımın en iyi modelini seçmek için kullanılır.

3. Test: Yukarıya bakınız.

$K$

Eğitim / validasyon / teste bölünmek de bir örnekleme stratejisidir.

$K$

$K-1$