Bire bir arada bırakılma çapraz doğrulama nasıl çalışır? farklı modelden son model nasıl seçilir ?

Bazı verilerim var ve bu verilerden bir model oluşturmak (doğrusal bir regresyon modeli demek) istiyorum. Bir sonraki adımda, modele Model Bir-Out-Out-Cross-Validation (LOOCV) uygulamak istiyorum;

LOOCV'nin doğru olduğunu anladıysam, bu örnek dışındaki her örneği (eğitim seti) kullanarak, numunelerimin her biri için (test seti) yeni bir model oluşturdum. Daha sonra modeli test setini tahmin etmek ve hataları hesaplamak için kullanıyorum .$(\text{predicted} - \text{actual})$

Bir sonraki adımda, seçilen bir işlev kullanılarak oluşturulan tüm hataları birleştiririm, örneğin ortalama kare hatası. Bu değerleri, modelin kalitesini (veya uygunluğunu) değerlendirmek için kullanabilirim.

Soru: Bu kalite değerleri hangi model için geçerlidir, LOOCV'dan oluşturulan metrikleri benim durumum için uygun bulursam hangi modeli seçmeliyim? LOOCV farklı modellere baktı (burada , örneklem büyüklüğüdür); hangi modeli seçmeliyim?$n$$n$

• Tüm örnekleri kullanan model mi? Bu model LOOCV sürecinde asla hesaplanmadı!
• En az hataya sahip model mi?

Çapraz doğrulamayı, modelin kendisinden ziyade belirli bir prosedürle üretilen modellerin genelleme performansını tahmin etmenin bir yolu olarak düşünmek en iyisidir. Biri dışarıda bırakma çapraz doğrulama, esasen veri örnekleri üzerinde eğitilmiş bir modelin genelleştirme performansının bir tahminidir; bu, genellikle örnekleri üzerinde eğitilen bir modelin performansının biraz karamsar bir tahminidir .$n-1$$n$

Bir model seçmekten ziyade, yapılacak iş, modeli tüm verilere uydurmak ve bu modelin performansının biraz muhafazakar bir tahminini sağlamak için LOO-CV kullanmaktır.

Bununla birlikte, LOOCV'nin yüksek bir varyansa sahip olduğuna dikkat edin (farklı bir rasgele veri örneği kullanırsanız alacağınız değer çok değişir), bu da performans değerlendirmesi için genellikle yaklaşık tarafsız olsa da, çoğu zaman kötü bir tahmin edici seçimi yapar. Model seçimi için her zaman kullanıyorum, ancak gerçekten ucuz olduğu için (üzerinde çalıştığım çekirdekli modeller için neredeyse ücretsiz).