Hesaplama gücü hususları bir yana, çapraz onaylamada katlanma sayısının arttırılmasının daha iyi model seçimi / onaylamaya yol açtığına inanmak için herhangi bir sebep var mı (yani kat sayısı arttıkça daha iyi)?

Tartışmayı aşırı uç noktaya götürmek, dışarıda bırakmayı bırakma çapraz doğrulama mutlaka -katlı çapraz doğrulamadan daha iyi modellere yol açar mı?$K$

Bu soruya ilişkin bazı bilgiler: Çok az sayıda örneği olan bir sorun üzerinde çalışıyorum (örneğin, 10 pozitif ve 10 negatif) ve modellerimin çok az veriye genelleme yapamayacağından / bu konuda çok az veriye sahip olacağından korkuyorum.

Bire bir arada bırakılma çapraz onaylama genellikle K-katlamadan daha iyi performansa yol açmaz ve göreceli olarak yüksek bir varyansa sahip olduğundan daha kötü olma olasılığı yüksektir (yani değeri, farklı veri örnekleri için değerinden daha fazla değişir. k-katlama çapraz doğrulama). Bu, bir model seçim kriterinde kötüdür çünkü model seçim kriterinin, performanstaki gerçek iyileştirmeleri yapmak yerine, belirli bir veri örneğindeki rastgele varyasyondan yararlanan yollarla optimize edilebileceği, yani aşırı uyum sağlama olasılığınızın yüksek olduğu anlamına gelir. model seçim kriteri. Biri dışarıda bırakma çapraz onayının pratikte kullanılmasının nedeni, birçok model için, modelin uygun bir yan ürünü olarak çok ucuza değerlendirilebilmesidir.

Eğer hesaplama gideri öncelikli bir sorun değilse, daha iyi bir yaklaşım tekrarlanan k-kat çapraz doğrulama yapmaktır, burada k-kat çapraz doğrulama prosedürü her seferinde farklı rasgele bölümler ile k ayrık alt kümelere tekrarlanır. Bu, varyansı azaltır.

(Utanmaz bir fiş: my bkz sadece 20 desenleri varsa, uyan üzerinde istatistik ve makine öğrenimi çok daha ihmal tuzak modeli seçme kriterini, çok büyük olasılıkla sen yaşayacaksınız ise kağıt konuda). Nispeten basit bir model seçmekten daha iyi olabilir ve çok agresif bir şekilde optimize etmemeye çalışabilir veya uygunluklarına göre ağırlıklandırılmış tüm model seçeneklerine göre bir Bayesian yaklaşımı ve ortalamasını benimseyebilirsiniz. IMHO optimizasyonu, istatistiklerdeki tüm kötülüklerin kökenidir, bu yüzden gerekmediğinde optimizasyon yapmamak ve ne zaman yaparsanız dikkatli bir şekilde optimize etmek daha iyidir.

Ayrıca, model seçimi yapacaksanız, aynı zamanda bir performans tahminine ihtiyacınız varsa iç içe çapraz doğrulama gibi bir şey kullanmanız gerekir (yani, model seçimini, model montaj prosedürünün ayrılmaz bir parçası olarak düşünmeniz ve bunun çapraz doğrulamasını yapmanız gerekir. yanı sıra).

Öğrenme kıvrımını dikkate alarak K kat sayısını seçmek

$K$

$K$

Özetlemek gerekirse, öğrenme eğrisi verilen eğitim seti boyutunda önemli bir eğime sahipse, beş veya on kat çapraz doğrulama doğru tahmin hatasını geçersiz kılacaktır. Bu önyargının pratikte bir sakınca olup olmadığı hedefe bağlıdır. Öte yandan, bir kez dışarıda bırakılan onaylamanın geçerliliği düşük önyargılıdır, ancak yüksek fark olabilir.

Bir oyuncak örneği kullanarak sezgisel bir görselleştirme

Bu argümanı görsel olarak anlamak için, gürültülü bir sinüs eğrisine 4. derece polinom eklediğimiz aşağıdaki oyuncak örneğini göz önünde bulundurun:

$1 -$$\pm$

Argümanı tartışmak

Eğitimin boyutu 50 gözleme yükseldikçe, modelin performansı önemli ölçüde artmaktadır. Sayıyı 200'e kadar yükseltmek, örneğin sadece küçük faydalar sağlar. Aşağıdaki iki durumu göz önünde bulundurun:

1. $5$$K$

2. $50$$5$$K$

[Güncelleme] - Metodoloji üzerine yorumlar

Bu simülasyon kodunu burada bulabilirsiniz . Yaklaşım şuydu:

1. $sin(x) + \epsilon$$\epsilon$
2. $i$$N$
3. $i$
   • Bir değeri için K katlama çapraz doğrulama yapın$K$
   • Ortalama Ortalama Kare Hatası (MSE) K-kıvrımları arasında saklayın
4. $i$$i$$K$
5. $K$$\{ 5,...,N\}$

Alternatif bir yaklaşım, her bir yinelemede ayarlanan yeni bir veriyi yeniden örneklememek ve bunun yerine her seferinde aynı veri kümesini yeniden karıştırmaktır. Bu da benzer sonuçlar veriyor gibi görünüyor.