Çapraz doğrulama, doğrulama kümesi için uygun bir alternatif midir?


27

Metin sınıflandırmasında yaklaşık 800 örnekli bir eğitim setim ve yaklaşık 150 örnekli bir test setim var. Test seti hiç kullanılmamış ve sonuna kadar kullanılmayı bekliyor.

Sınıflayıcıları ve özellikleri ayarlarken ve ayarlarken 10 kat çapraz doğrulama ile tüm 800 örnek eğitim setini kullanıyorum. Bu, ayrı bir doğrulama setine sahip olmadığım anlamına geliyor, ancak her biri 10 katın üzerinde bitiyorsa, bir doğrulama seti otomatik olarak seçilir.

Her şeyden memnun kalacağım ve değerlendirmenin son aşamasına girmek istediğimde, sınıflandırıcılarımı tüm 800 örnek üzerinde eğiteceğim. Ve 150 numune test setinde test edin.

Metin sınıflandırmada bu tür çapraz onaylama kullanımının doğru olduğunu biliyor muyum? Bu uygulama geçerli mi?

Başka bir soru wrt çapraz doğrulama:

10 kat yerine, performans için genel bir gösterge olarak bir tanesini dışarıda bırakmaya çalıştım. Birini dışarıda bırakmak için f1 / precision / hatırlama hakkında bilgi sahibi olmak mümkün olmadığından, ondan-dışarıdan doğruluk ile 10 katına kadar olan ölçütler arasındaki ilişki nedir?

Herhangi bir görüş çok takdir edilecektir.


Düzenle:

Bu çapraz doğrulama için oldukça iyi bir giriş. Aynı zamanda diğer araştırma yazılarına atıfta bulunur.


3
Dışarıda bırakma tahmin edicileri tarafsızdır, 10 kat çapraz doğrulama size önyargılı olma eğilimindedir (daha düşük hatalara doğru). Bununla birlikte, tarafsızlık yüksek bir varyansın bedeli ile ortaya çıkmaktadır.
blubb

@Simon, bence sorunun karmaşıklığına bağlı. Öyle değil mi?
Biostat

@blubb: LOO bazı durumlarda karamsar bir önyargıya sahip olabilir. LOO varyansı ve 10 kat CV'nin tek bir çalışması genellikle çok benzerdir. Buradaki iyimser önyargı (çok düşük hata tahminleri), yeniden örnekleme seçiminden değil, çapraz doğrulama işleminin zaten veri odaklı optimizasyon için kullanılmasından kaynaklanıyor. Bundan sonra, başka bir bağımsız doğrulama gereklidir. Bu "dış" bir çapraz doğrulama döngüsü de olabilir (iyimser önyargısız!)
cbeleites

Yanıtlar:


15

Çapraz onaylama ile çalışmanın yolunu gerçekten doğru bir şekilde tanımladınız. Aslında, sonunda makul bir onaylama yaptığınız için 'şanslısınız', çünkü genellikle bir modeli optimize etmek için çapraz onaylama kullanılır, ancak "gerçek" bir onaylama yapılmaz.

@Simon Stelling'in yorumunda söylediği gibi, çapraz değerlendirme daha düşük tahmini hatalara yol açacaktır (bu, verileri sürekli olarak yeniden kullandığınızdan dolayı mantıklıdır), ama neyse ki bu tüm modeller için geçerlidir, bu nedenle, felaketi engellemek (yani: hatalar yalnızca azaltılır) "kötü" bir model için hafifçe ve "iyi" model için daha fazlası), çapraz değerlenmiş bir kriterde en iyi performansı gösteren modeli seçmek, genellikle de "gerçek" için en iyisi olacaktır.

Bazen daha düşük hataları düzeltmek için kullanılan bir yöntem, özellikle de parsimonlu modeller arıyorsanız, çapraz değerlenmiş hatanın (çapraz değerlenmiş) optimumdan bir SD içinde olduğu en küçük modeli / en basit yöntemi seçmektir. Çapraz değerlemenin kendisi olarak, bu bir sezgiseldir, bu yüzden biraz dikkatli kullanılmalıdır (eğer bir seçenek ise: ayarlama parametrelerinize karşı hatalarınızı işaretleyin: bu size kabul edilebilir sonuçların olup olmadığı hakkında bir fikir verecektir)

Hataların aşağı doğru eğilim göz önüne alındığında, önemlidir değil söz Bilmiyorum çok fazla yayın gördük: Doğruyu söylemek gerekirse her ne kadar bu (çapraz geçerlilik geldiğini söz etmeden çapraz geçerlilik gelen hataları veya diğer performans ölçüsü yayımlamak Performans verileri, orijinal veri setindeki performansı kontrol etmekten de elde edilmiştir - yani çapraz değerleme yapmak aslında sonuçlarınızı daha da değerli kılar ). Doğrulama ayarınız olduğu için bu sizin için sorun olmayacak.

Son bir uyarı: eğer modeliniz uygunsa bazı yakın rakiplerle sonuçlanırsa, performanslarını daha sonra onaylama setinizdeki performanslarına bakmak iyi bir fikirdir, ancak son model seçiminizi buna dayandırmayın: Vicdan, ancak "son" modeliniz, validasyon setine bakmadan önce seçilmiş olmalıdır.

İkinci sorunuza göre: Simon'ın yorumunda ihtiyacınız olan tüm cevapları size verdiğine inanıyorum, ancak resmi tamamlamak için: Sık sık, oyunda ortaya çıkan önyargılı değişiklik. Ortalama olarak, doğru sonuca ulaşacağınızı biliyorsanız (tarafsızlık), fiyat genellikle bireysel hesaplamanızın çok uzağında (yüksek sapma) olabilir. Eski günlerde, tarafsızlık nec artı ultra idi, mevcut günlerde, kişi bir (küçük) önyargıyı kabul etti (böylece hesaplamalarınızın ortalamasının doğru sonuçla sonuçlanacağını bile bilmiyorsunuz) düşük varyansa neden olur. Deneyimler, terazinin 10 kat çapraz değerleme ile kabul edilebilir olduğunu göstermiştir. Sizin için önyargı yalnızca model optimizasyonunuz için bir sorun olacaktır. çünkü daha sonra değerlendirme setinde (tarafsız bir şekilde) kriteri tahmin edebilirsiniz. Bu nedenle, çapraz değerlendirme kullanmamak için çok az sebep vardır.


"ancak" son "modeliniz, doğrulama kümesine bakmadan önce seçilmiş olmalıdır." Güzel.
Mooncrater
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.