ROC eğrisi altındaki alan - genel doğruluk

ROC'nin Eğri Altındaki Alanı (AUC) ve genel doğruluğu hakkında biraz kafa karıştırıcıyım.

1. AUC, genel doğrulukla orantılı olacak mı? Başka bir deyişle, genel olarak daha büyük bir doğruluk elde ettiğimizde, kesinlikle daha büyük bir AUC olacaktır? Yoksa tanım olarak pozitif korelasyon gösteriyorlar mı?

2. Olumlu bir korelasyon varsa, neden ikisini de bazı yayınlarda bildirmekten rahatsız ediyoruz?

3. Gerçek durumda, bazı sınıflandırma görevlerini yerine getirdim ve sonuçları şu şekilde aldım: A sınıfı% 85, A98 değeri 0.98 ve A sınıfı% 93 ve 0.92% AUC doğruluk aldı. Soru, hangi sınıflandırıcı daha iyi? Veya bunun gibi benzer sonuçlar elde etmek mümkün müdür (benim uygulamamda bir hata olabileceği anlamına gelir)?

AUC (ROC'ye dayanarak) ve genel doğruluk aynı kavram gibi görünmüyor.

Genel doğruluk, belirli bir kesme noktasına dayanırken, ROC tüm kesme noktalarını dener ve duyarlılığı ve özgüllüğü çizer. Bu yüzden, genel doğruluğu karşılaştırdığımızda, kesinti seviyesine göre doğruluğu karşılaştırıyoruz. Genel doğruluk, farklı kesim noktasından farklılık gösterir.

İki istatistik önlemin korelasyon göstermesi muhtemel olsa da, sınıflandırıcının farklı niteliklerini ölçer.

AUROC

Eğri altındaki alan (AUC), bir sınıflandırıcının, rastgele seçilen bir negatif örnekten daha yüksek bir rastgele seçilen pozitif örneği sıralama olasılığına eşittir. Sınıflandırıcıların becerisini , pozitif sınıfa ait oldukları dereceye göre bir dizi diziyi sıralamadaki ölçüsünü ölçmektedir , ancak gerçekte sınıflara desen vermeden.

Genel doğruluk aynı zamanda sınıflandırıcının model sıralaması yeteneğine, aynı zamanda eşiğin üstünde ise pozitif sınıfa ve alt sıra ise negatif sınıfa model atamak için kullanılan sıralamada bir eşik seçme yeteneğine de bağlıdır.

Bu nedenle, AUROC istatistiğinin daha yüksek olduğu (her şeyin eşit olduğu) sınıflandırıcı, aynı zamanda (AUROC'un ölçtüğü) sıralamanın hem AUROC hem de genel doğruluk için faydalı olduğu için daha yüksek bir genel doğruluğa sahip olması muhtemeldir. Bununla birlikte, bir sınıflandırıcı desenleri iyi bir şekilde sıralarsa, ancak eşiği kötü seçerse, yüksek bir AUROC'ye, ancak genel olarak zayıf bir doğruluğa sahip olabilir.

Pratik kullanım

Uygulamada, AUROC'nin genel doğruluğunu ve sınıflayıcıyı sınıf üyeliği olasılığını, çapraz entropi veya öngörücü bilgiyi toplamayı toplamayı seviyorum. Sonra, zor bir sınıflandırma yapmak için ham kabiliyetini ölçen bir metriğe sahibim (yanlış-pozitif ve yanlış-negatif yanlış sınıflandırma maliyetlerinin eşit olduğunu ve numunedeki sınıf frekanslarının operasyonel kullanımdakilerle aynı olduğunu farz ediyorum - büyük bir varsayım!), desen sıralama yeteneğini ölçen bir ölçü ve sıralamanın bir olasılık olarak ne kadar iyi kalibre edildiğini ölçen bir ölçü.

Pek çok görevde, operasyonel sınıflandırma maliyetleri bilinmemektedir veya değişkendir veya operasyonel sınıf frekansları, eğitim örneğindekilerden farklı veya değişkendir. Bu durumda, genel doğruluk genellikle oldukça anlamsızdır ve AUROC daha iyi bir performans göstergesidir ve ideal olarak, operasyonel kullanımda bu sorunları telafi edebilmemiz için iyi kalibre edilmiş olasılıkları ortaya çıkaran bir sınıflandırıcı istiyoruz. Temel olarak hangi metriğin önemli olduğu çözmeye çalıştığımız soruna bağlıdır.

AUC gerçekten çok kullanışlı bir ölçüm mü?

Beklenen maliyetin daha uygun bir önlem olduğunu söyleyebilirim.

O zaman tüm Yanlış Pozitifler için A maliyetine ve tüm Yanlış Negatifler için B maliyetine sahip olacaksınız. Kolayca diğer sınıfın diğerinden daha pahalı olması olabilir. Elbette çeşitli alt gruplarda yanlış sınıflandırma için maliyetleriniz varsa, o zaman daha da güçlü bir ölçüm olacaktır.

X ekseni ve o zamandaki y ekseni için beklenen maliyeti çizerek, hangi kesim noktasının beklenen maliyeti en aza indirdiğini görebilirsiniz.

Resmen, en aza indirmeye çalıştığınız bir kayıp fonksiyon kaybınız (kesinti | veriler, maliyet).

Tüm cevapların gönderildiği gibi: ROCve accuracyiki farklı kavram esastır.

Genel olarak konuşursak, ROCsınıflandırmadan ve eşit olmayan tahmin hata maliyetlerinden (yanlış pozitif ve yanlış negatif maliyet) bağımsız bir sınıflandırıcının ayırt edici gücünü açıklar.

Metrik benzeri accuracy, test datasetveya sınıf dağılımına göre hesaplanır cross-validation, ancak bu oran, sınıflandırıcıyı gerçek yaşam verilerine uyguladığınızda değişebilir, çünkü temel sınıf dağılımı değişmiştir veya bilinmemektedir. Diğer yandan, TP rateve FP ratebu yapıya kullanılan AUCsınıf dağılımı değişen etkilenmeyecektir olacaktır.