AUROC veya doğruluk temelinde sınıflandırıcılar karşılaştırın?

11

Ben bir ikili sınıflandırma sorunu var ve ben üzerinde farklı sınıflandırıcılar denemek: sınıflandırıcılar karşılaştırmak istiyorum. hangisi daha iyi bir ölçü AUC veya doğruluktur? Ve neden?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— Sina
kaynak

13

Doğru olarak sınıflandırılan oran uygun olmayan bir puanlama kuralıdır, yani sahte bir modelle optimize edilmiştir. Brier skoru olarak bilinen kuadratik uygun skorlama kuralını veya uyum olasılığını (ikili durumunda ROC eğrisinin altındaki alan ) kullanırdım. Rastgele orman sizin durumunuzda SVM'den daha iyi çalışır. $Y$

— Frank Harrell
kaynak

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$

g (y_{i}, x_{i})

$g(y_i,x_i)$

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

8

Bence kesinlikle sadece AUC ve doğruluktan daha fazla metriklere bakmalısınız.

Doğruluk (duyarlılık ve özgüllük ile birlikte), sizi mutlak tahmin sonucuna bakmaya zorlayan ve sınıf olasılıklarının veya sıralamanın iddiasına açılmayan çok basit ama taraflı bir metriktir. Ayrıca, popülasyonu yanlış yorumlamaya davet eden popülasyonu, doğruluk yüksek olsa bile,% 95 rastgele doğru olma şansı olan bir popülasyonda% 95 doğruluk sağlayan bir model olarak dikkate almaz.

EAA, nüfus sınıfı olasılıklarından bağımsız model doğruluğunu ortaya koymak için iyi bir metriktir. Bununla birlikte, olasılık tahminlerinin gerçekte ne kadar iyi olduğu hakkında size bir şey söylemeyecektir. Yüksek bir AUC elde edebilirsiniz, ancak yine de çok çarpık olasılık tahminleri vardır. Bu metrik doğruluktan daha ayrımcıdır ve bazı uygun puanlama kurallarıyla birlikte kullanıldığında kesinlikle daha iyi modeller verecektir, örneğin başka bir gönderide belirtildiği gibi Brier puanı.

Bu makale oldukça teorik olmasına rağmen burada daha resmi bir kanıt elde edebilirsiniz: AUC: Doğruluktan Daha İstatistiksel Olarak Tutarlı ve Daha Ayrımcı Bir Tedbir

Bununla birlikte, bir dizi iyi metrik mevcuttur. İkili Sınıf Olasılık Tahmini ve Sınıflandırma için Kayıp Fonksiyonları: Yapı ve Uygulamalar Brier skoru gibi uygun puanlama kurallarını araştıran iyi bir yazıdır.

Model performansının iddiası için metriklere sahip bir başka ilginç makale Değerlendirme'dir: Kesinlik, geri çağırma ve F-ölçümünden ROC'ye, bilinçlilik, belirginlik ve korelasyon, bilinçlilik gibi diğer iyi performans metriklerini alır.

Özetlemek gerekirse, model performansını desteklemek için AUC / Gini ve Brier puanlarına bakmanızı tavsiye ederim, ancak modelinize göre hedefe bağlı olarak diğer metrikler sorununuza daha iyi uyabilir.

— süre
kaynak

Değerlendirme için bağlantı: kesinlik, geri çağırma ve F-ölçüsünden ROC'ye, bilgilendirme, belirginlik ve korelasyon öldü

— vonjd

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

Hiçbir brierscore, sadece bir sonuç değil bir olasılık veren yöntemler için harika değildir. Niether auc olsa da bu size tahminlerinizi ne kadar iyi sıraladığınızı gösterecektir. Sadece sonuçlarla ROC uzayında sadece bir nokta elde edersiniz, böylece eğrinin altındaki alan üçgen olur. Ama yine de size bir sayı verecek ve bu da az ya da çok 0-1 kaybına dönüşmesine rağmen brierscore olacak. Yalnızca sonuçlarınız varsa, sonuçlarınız için tasarlanmış ölçümler olan Precision, Recall ve Cohen's Kappa'ya bakmanızı öneririm.

— ederken