AUC ve F1 skorları arasındaki farklar nelerdir?

14

F1 skoru, hassasiyet ve hatırlamanın harmonik ortalamasıdır. Geri çağırmanın y ekseni gerçek pozitif orantır (aynı zamanda hatırlamadır). Öyleyse, bazen sınıflandırıcılar düşük hatırlama oranına ancak çok yüksek AUC değerine sahip olabilir, bunun anlamı nedir?

— RockTheStar
kaynak

3

Eğriyi belirtmezseniz AUC net değildir. Yani ROC eğrisinin altındaki alan, PR eğrisinin altındaki alan, ...?

— Marc Claesen

Eğrinin altındaki alan.

— RockTheStar

2

Hangi eğri? ROC? PR? Kaldırma?

— Marc Claesen

ROC eğrisi. Ve bundan alınan F1 puanı.

— RockTheStar

18

F1 puanı, ROC eğrisinin herhangi bir noktası için geçerlidir. Bu nokta, örneğin bir ikili sınıflandırıcıdaki belirli bir eşik değerini temsil edebilir ve bu nedenle belirli bir hassasiyet ve geri çağırma değerine karşılık gelir.

Unutmayın, F skoru hem hatırlama hem de hassasiyeti temsil etmenin akıllı bir yoludur. F puanının yüksek olması için hem hassasiyet hem de hatırlama yüksek olmalıdır.

Bu nedenle, ROC eğrisi çeşitli farklı eşik seviyeleri içindir ve eğrisindeki çeşitli noktalar için birçok F skor değerine sahiptir.

— Londra adam
kaynak

3

İlginç yönü. Ama anladığım kadarıyla, F1 puanı Geri Çağırma ve Hassasiyet'e dayanırken, AUC / ROC Geri Çağırma ve Özgüllükten oluşmaktadır. Görünüşe göre aynı şey değiller. F puanına katılıyorum bir puan ve ROC farklı eşik değerine sahip bir dizi puan, ama farklı tanımların aynı neden olduğunu düşünmüyorum. Daha net hale getirmeme yardım eder misin? Teşekkürler

— Catbuilts

8

AUC [PRECISION] * [RECALL] boyutundadır ve ROC eğrisinin altındaki alandır. F1 sabit bir hassasiyet ve hatırlama çifti içindir. Yani farklılar. Ama bazı bağlantılar var. Şuna bakın: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf

— Daniel
kaynak

2

ROC eğrisinin eksenleri olan gerçek pozitif oran (hatırlama, AKA duyarlılık) ve yanlış pozitif oran (yanlış alarm oranı) değil, hassasiyet, AKA PPV pozitif öngörü değeri .

— Ling Ma
kaynak