Verileri eğitim ve test setine neden bölmek yeterli değildir?

Sınıflandırıcının performansına erişmek için verileri eğitim / test setine bölmem gerektiğini biliyorum. Ama bunu okumak :

Bir SVM için manuel olarak ayarlanması gereken C ayarı gibi tahminciler için farklı ayarlar (“hiperparametreler”) değerlendirilirken, tahminci en iyi şekilde performans gösterene kadar parametreler ayarlanabileceğinden, test setinde aşırı uyum riski vardır. Bu şekilde, test seti hakkındaki bilgi modele “sızabilir” ve değerlendirme metrikleri artık genelleme performansı hakkında rapor vermemektedir. Bu sorunu çözmek için, veri kümesinin yine bir başka kısmı “doğrulama seti” olarak adlandırılabilir: eğitim, eğitim setinde ilerler, daha sonra doğrulama setinde değerlendirme yapılır ve deney başarılı görünüyorsa , son değerlendirme test setinde yapılabilir.

Hiperparametrelerin ayarlanması sırasında test setinin aşırı takılmasıyla gerekçelendirilen başka bir (üçüncü) doğrulama setinin tanıtıldığını görüyorum.

Sorun şu ki, bu aşırı sığmanın nasıl ortaya çıkabileceğini anlayamıyorum ve bu nedenle üçüncü setin gerekçesini anlayamıyorum.

Modelleri yalnızca egzersiz verileri üzerinde eğitiyor olsanız bile , test setini temel alarak hiperparametreleri (örn. SVM için optimize ediyorsunuz . Aslında, performans tahmininiz iyimser olabilir, çünkü esasen en iyi durum sonuçlarını raporluyorsunuz. Bu sitedeki bazılarının daha önce de belirttiği gibi, optimizasyon istatistikteki tüm kötülüklerin köküdür .$C$

Performans tahminleri her zaman tamamen bağımsız veriler üzerinde yapılmalıdır. Test verisine dayalı olarak bazı yönleri optimize ediyorsanız, test verileriniz artık bağımsız değildir ve bir doğrulama kümesine ihtiyacınız olacaktır.

Bununla başa çıkmanın bir başka yolu, birbirinin etrafına sarılmış iki çapraz doğrulama prosedüründen oluşan iç içe çapraz geçerliliktir . İç çapraz validasyon ayarlamada kullanılır (optimize edilen belirli bir hiperparametre setinin performansını tahmin etmek için) ve dış çapraz validasyon tüm makine öğrenme boru hattının genelleme performansını tahmin eder (yani hiperparametreleri optimize etmek + son modeli eğitmek ).

Bence şeyleri bu şekilde düşünmenin en kolay yolu. Çapraz doğrulamanın iki model vardır: bir model / algoritmanın hiper parametrelerini ayarlamak ve bir model / algoritmanın performansını değerlendirmek .

İlk kullanımı, algoritmanın gerçek eğitiminin bir parçası olarak düşünün. Örneğin, bir GLM için düzenlileştirme mukavemetini belirlemek için çapraz doğrulama, GLM'nin nihai sonucunun oluşturulmasının bir parçasıdır. Bu kullanıma tipik olarak dahili çapraz doğrulama denir . (Hiper) parametreler hala ayarlandığından, ayar seti kaybı gerçek algoritma performansının büyük bir ölçüsü değildir.

Çapraz doğrulamanın ikinci kullanımı, öngörücü gücünü test etmek için modeli üreten tüm süreçte tutulan verileri kullanmaktır. Bu işleme harici çapraz doğrulama denir .

Dahili doğrulama, modeli üreten sürecin bir parçası olabilir, bu nedenle birçok durumda hem dahili hem de harici çapraz doğrulama gereklidir.

Model oluşturma sırasında modellerinizi bir eğitim örneği üzerinde eğitirsiniz . Farklı modelleri (örneğin, SVM, LDA, Random Forest, ... gibi farklı teknikler veya ayarlama parametrelerinin farklı değerleri veya bir karışımla aynı teknik) eğitebileceğinizi unutmayın .

Eğittiğiniz tüm farklı modeller arasında bir tane seçmelisiniz ve bu nedenle test örneğinde en küçük hataya sahip olanı bulmak için doğrulama örneğini kullanmalısınız .

Bu 'son' model için hala hatayı tahmin etmek zorundayız ve bu nedenle test örneğini kullanıyoruz .

Çapraz doğrulama, model seçimindeki aşırı uydurma probleminin tamamen üstesinden gelmez, sadece azaltır. Çapraz doğrulama hatası, kullandığınız veri kümesine bağlıdır. Veri kümesi ne kadar küçük olursa, çapraz doğrulama hatası o kadar yüksek olur.

Ek olarak, model seçiminde yüksek derecede serbestliğiniz varsa, çapraz doğrulama kriteri aşırı yüklendikçe modelin kötü performans göstermesi tehlikesi vardır.

Bu nedenle, veriler eğitim ve test setleri olmak üzere 2 sete ayrıldığında, bölünme statik olarak yapılır. Bu nedenle, eğitim setine aşırı takılma şansı var. Ancak, çapraz doğrulama setleri şu şekilde oluşturulur: , 2-setli bölünmenin tam uyum ödülünün ortadan kaldırılmasına yardımcı olan k-kat çapraz doğrulaması, Ayrılma-bir-çapraz doğrulama (LOOCV) gibi farklı yöntemlerle böylece aşırı uyum şansı azalır.

Bunlar daha iyi anlamanıza yardımcı olacak bazı kaynaklardır .

Dolayısıyla, çapraz doğrulama, daha küçük bir veri kümesinden ziyade daha büyük bir veri kümeniz olduğunda size yardımcı olacaktır.