K katlı CV'yi kaç kez tekrarlamalıyız?

Ben rastladım bu konuya arada büyük cevap ve referanslar - bootstrapping ve çapraz doğrulama arasındaki farklar bakıyor. Şimdi merak ediyorum, eğer bir sınıflandırıcının doğruluğunu hesaplamak için tekrar tekrar 10 kat CV söyleyecek olsaydım , kaç kez n tekrarlamalıyım?

Does n kıvrımlar sayısına bağlıdır? Örnek boyutu üzerinde? Bunun için bir kural var mı?

(Benim durumumda, 5000 kadar büyük örneklere sahibim ve n = 20'den daha büyük bir şey seçersem, bilgisayarım hesaplamayı yapmak için çok uzun sürüyor.)

Etkileyen faktör, modelinizin ne kadar kararlı olduğudur - ya da daha doğrusu suretlerdeki tahminlerdir.

Modeller tamamen kararlıysa, tüm vekil modeller aynı test durumu için aynı tahmini verecektir. Bu durumda, yinelemelere / tekrarlara gerek yoktur ve herhangi bir iyileştirme sağlamazlar.

Tahminlerin istikrarını ölçebildiğiniz gibi, işte yapmam gerekenler:

• Tüm yordamı, her çapraz doğrulama tekrarı / yinelemesinin sonuçlarını sabit diske kaydedecek şekilde ayarlayın
• Çok sayıda yineleme ile başlayın
• Birkaç yineleme geçtikten sonra, ön sonuçları alın ve her çalışma için sonuçlardaki kararlılığa / varyasyona bir göz atın.

• Ardından, sonuçları kaç kez daha hassaslaştırmak istediğinize karar verin.

• Tabii ki 5 yineleme çalıştırmaya ve ardından yapmak istediğiniz son yineleme sayısına karar verebilirsiniz.

(Yan not: Tipik olarak> yaklaşık 1000 vekil model kullanıyorum, bu yüzden tipik tekrar sayısı / yineleme sayısı 100 - 125 civarında olacaktır).

Bir istatistikçiye herhangi bir soru sorun ve cevapları bir çeşit "duruma bağlıdır" olacaktır.

O bağlıdır . Modelin türü (iyi nokta cbeleites!) Dışında, eğitim ayar noktalarının sayısı ve öngörücülerin sayısı? Model sınıflandırma içinse, büyük bir sınıf dengesizliği tekrar sayısını artırmama neden olur. Ayrıca, bir özellik seçme prosedürünü yeniden örneklersem, daha fazla örneğe yönelirim.

Bu bağlamda kullanılan herhangi bir yeniden örnekleme yöntemi için (klasik önyüklemenin aksine), dağılım ortalamasının "yeterince hassas" bir tahminini elde etmek için sadece yeterli yinelemelere ihtiyacınız olduğunu unutmayın. Bu özneldir ama herhangi bir cevap olacaktır.

Bir saniye boyunca iki sınıfla sınıflandırmaya bağlı kalmak, modelin doğruluğunun yaklaşık 0.80 olmasını beklediğinizi / umduğunuzu varsayalım. Yeniden örnekleme işlemi doğruluk tahminini örneklediğinden (örneğin p), standart hata, örnek sayısının olduğu sqrt[p*(1-p)]/sqrt(B)yerdir B. Çünkü B = 10, doğruluğun standart hatası yaklaşık 0.13'tür ve bununla B = 100birlikte yaklaşık 0.04'tür. Bu formülü, bu özel durum için kabaca bir rehber olarak kullanabilirsiniz.

Ayrıca, bu örnekte, doğruluk varyansının 0,50'ye yaklaştıkça en üst düzeye çıkarıldığını, bu nedenle standart bir hatanın zayıf öğrenenler olan modellerden daha düşük olması gerektiğinden, doğru bir modelin daha az çoğaltma gerektirmesi gerektiğini düşünün.

HTH,

maksimum