Neden AUC = 1 bile sınıflandırıcı numunelerin yarısını yanlış sınıflandırmıştır?

Olasılıkları döndüren bir sınıflandırıcı kullanıyorum. AUC'yi hesaplamak için pROC R-paketi kullanıyorum. Sınıflandırıcıdan çıktı olasılıkları:

probs=c(0.9865780,
0.9996340,
0.9516880,
0.9337157,
0.9778576,
0.8140116,
0.8971550,
0.8967585,
0.6322902,
0.7497237)

probs"1" sınıfında olma olasılığını gösterir. Gösterildiği gibi, sınıflandırıcı '1' sınıfındaki tüm örnekleri sınıflandırmıştır.

Gerçek etiket vektörü:

truel=c(1, 1, 1, 1, 1, 0, 0, 0, 0, 0)

Gösterildiği gibi, sınıflandırıcı 5 örneği yanlış sınıflandırmıştır. Ancak, AUC:

pROC::auc(truel, probs)
Area under the curve: 1

Bana bunun neden olduğunu açıklar mısınız?

AUC, sınıf üyeliği olasılığına göre örnekleri sıralama yeteneğinin bir ölçüsüdür . Bu nedenle, tüm olasılıklar 0,5'in üzerindeyse, tüm pozitif kalıpların tüm negatif kalıplardan daha yüksek olasılıklara sahip olması durumunda yine de bir AUC'ye sahip olabilirsiniz. Bu durumda sıfır hata oranı verecek şekilde 0.5'ten daha yüksek bir karar eşiği olacaktır. AUC sadece olasılıkların sıralamasını ölçtüğünden, olasılıkların iyi kalibre edilip edilmediğini (örn. Sistematik önyargı yoksa), olasılıkların kalibrasyonu önemliyse çapraz entropi metriğine baktığınızı söylemez.

Diğer cevaplar neler olduğunu açıklıyor ama bir resmin güzel olabileceğini düşündüm.

Sınıfların mükemmel şekilde ayrıldığını görebilirsiniz, bu nedenle AUC 1'dir, ancak 1/2'de eşikleme,% 50 yanlış sınıflandırma oranı üretecektir.

Örnekler hiç "yanlış sınıflandırılmamıştır". 0Örnekler daha sıkı düşük sıralanır 1örnekler. AUROC, tam olarak tanımlandığı şeyi yapıyor; bu, rastgele seçilenlerin rastgele seçilenlerden 1daha yüksek sıralanma olasılığını ölçüyor 0. Bu örnekte, bu her zaman doğrudur, bu yüzden olasılık 1 olayıdır.

Tom Fawcett'in ROC eğrileri hakkında harika bir açıklayıcı makalesi var. Oradan başlamanızı öneririm.

Tom Fawcett. "ROC Analizine Giriş." Örüntü Tanıma Mektupları. 2005.