Tekrarlanan k-kat çapraz doğrulamayı kullanıyorum ve çapraz doğrulamanın farklı çalışmalarının kıvrımları boyunca büyük ortalama olarak hesaplanan ortalamayı (değerlendirme metriğinin, örneğin hassasiyet, özgüllük) rapor ediyorum.
Ancak, varyansı nasıl rapor etmem gerektiğinden emin değilim. Burada tekrarlanan çapraz doğrulamayı tartışan birçok soru buldum, ancak farkında olmadığım hiçbiri tekrarlanan çapraz doğrulama testlerinde varyans sorununu açıkça cevaplamıyor.
Toplam varyansın aşağıdakilerden kaynaklandığını anlıyorum: 1) modelin kararsızlığı ve 2) sınırlı örnek boyutu.
Tekrarlanan k-kat çapraz doğrulaması için varyansı hesaplamak için 4 farklı yaklaşım var gibi görünüyor:
1) çapraz validasyon işlemleri boyunca tahmini ortalama performans metriğinin (örn. Doğruluk) varyansı, varyansın geçerli bir tahmini olabilir mi?
2) işleme özgü varyansların (çapraz geçerlilik testi çalışmasının farklı katlarında hesaplanan) havuzlanarak varyans varyansı.
3) büyük bir vektörde bir çapraz doğrulama çalışmasının farklı katlarından sınıflandırma sonuçlarını birleştirmek. Örneğin, her kattaki test verisi sayısı 10 ise ve 10 kat CV'm varsa, tekrarlama için elde edilen vektör 100 boyutunda olacaktır. Şimdi, çapraz doğrulama testimi 10 kez tekrarlarsam, her biri 10 kat CV çalışmasından sınıflandırma sonuçlarını içeren 100 boyutunda 10 vektör içerir. Şimdi, tek çalışma CV'si olarak ortalama ve varyansı hesaplayacağım.
4) Ayrıca varyansın dış varyansın ve beklenen iç varyansın toplamı olduğunu okudum (2 ve 3'teki denklemler 1 ). Doğru anlarsam, dış varyans, tekrarlamaya özgü ortalama performansların varyansıdır ve iç varyans, çapraz doğrulama çalışmasının farklı kıvrımları arasındaki varyanstır.
Tekrarlanan çapraz geçerlilik testi için hangi varyansın uygun bir rapor olacağı konusunda yardımınızı ve rehberliğinizi takdir ediyorum.
Teşekkürler,