ROC eğrileri birbirini geçtiğinde iki modelin karşılaştırılması


13

İki veya daha fazla sınıflandırma modelini karşılaştırmak için kullanılan yaygın bir önlem, ROC eğrisi (AUC) altındaki alanı, performanslarını dolaylı olarak değerlendirmenin bir yolu olarak kullanmaktır. Bu durumda, daha büyük bir AUC'ye sahip bir model genellikle daha küçük bir AUC'ye sahip bir modelden daha iyi performans olarak yorumlanır. Ancak, Vihinen, 2012'ye göre ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), her iki eğri birbirini geçtiğinde bu karşılaştırma artık geçerli değildir. Neden böyle?

Örneğin, ROC eğrileri ve AUC'lere dayanan A, B ve C modelleri hakkında ne tespit edilebilir?

resim açıklamasını buraya girin

Yanıtlar:


19

Bir ROC eğrisi TPR ve FPR'yi olası tüm eşikler için görselleştirir .

  • İki ROC eğrileri çizmek ise 'A' ve 'B' ve onlar geçmez birbirlerini olası tüm FPR değerleri için daha yüksek bir TPR olsun, çünkü Sınıflandırıcılarınızdan sonra bir açıkça daha iyi performans gösteriyor. Açıkçası, ROC altındaki alan da daha büyük olacaktır.

  • Bunlar, şimdi çapraz yapmak birbirinden sonra FPR TPR eğrilerin için aynıdır bir nokta vardır 'A' ve 'B' . Artık bir ROC eğrisinin daha iyi performans gösterdiğini söyleyemezsiniz, çünkü artık tercih ettiğiniz değiş tokuşa bağlıdır. Eğer istiyorsunuz yüksek Hassas / düşük hatırlayın veya düşük Hassas / yüksek hatırlayın ?

Örnek: Bir sınıflandırıcı 0.2 FPR'de çok daha iyi performans gösterirse, ancak yüksek Geri Çağırma'ya ulaşmak önemlidir , o zaman ilgilenmediğiniz bir eşikte iyi performans gösterir.

Grafiğinizdeki ROC eğrileri hakkında: Neye ulaşmak istediğinizi bile bilmeden 'A'nın çok daha iyi performans gösterdiğini kolayca anlayabilirsiniz . Menekşe eğrisi diğerlerini geçer geçmez tekrar geçer. Büyük olasılıkla , 'B' ve 'C' nin biraz daha iyi performans gösterdiği küçük bölümle ilgilenmiyorsunuz .

Aşağıdaki grafikte birbirini geçen iki ROC eğrisi görüyorsunuz. Burada, hangisini daha iyi olduğunu söyleyemezsiniz çünkü birbirlerini tamamlarlar .

Geçiş ROC eğrileri

Günün sonunda, sınıflandırmanız için bir eşik seçmekle ilgilendiğinizi ve AUC'nin sadece bir modelin genel olarak ne kadar iyi performans gösterdiğine dair bir tahmin verdiğine dikkat edin .


Sadece onay için, örneğimde, hassasiyetin büyük olduğu çok yüksek bir kesme değeri seçersem, A modeli B ve C'yi iyi bir farkla gerçekleştirir mi?
Edu

Hassasiyetin nerelerde büyük olduğunu nasıl anlarsınız? Bu bir ROC'dir, Hassas Geri Çağırma eğrisi değildir. Hassasiyet için, sınıflandırıcınızın Pozitif olduğu düşünüldüğünde Gerçek Pozitif olasılığını kontrol edersiniz.
Laksan Nathan
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.