PR eğrisinin altındaki alanın yorumlanması

Şu anda üç yöntemi karşılaştırıyorum ve ölçüm olarak Doğruluk, auROC ve auPR var. Ve aşağıdaki sonuçlara sahibim:

Yöntem A - acc: 0.75, auROC: 0.75, auPR: 0.45

Yöntem B - acc: 0.65, auROC: 0.55, auPR: 0.40

Yöntem C - acc: 0.55, auROC: 0.70, auPR: 0.65

Ben doğruluk ve auroC iyi bir anlayış var (iyi hatırlamak için sık sık "auROC = olumlu sınıfı iyi tahmin yeteneği" gibi bir cümle ile gelip, tam olarak doğru değil hatırlamam yardımcı olur). Daha önce hiç auPR verilerine sahip olmadım ve nasıl oluşturulduğunu anladım, arkasındaki "hissi" alamıyorum.

Aslında, C yönteminin neden doğruluk ve auPR için kötü / ortalama iken auPR için inanılmaz derecede yüksek bir skoru olduğunu anlamıyorum.

Birisi bana gerçekten iyi olacak basit bir açıklama ile biraz daha iyi anlamama yardımcı olabilir. Teşekkür ederim.

machine-learning roc precision-recall

— AdrienNK
kaynak

ROC ve PR eğrilerinin bir ekseni aynıdır, yani TPR: verilerdeki tüm pozitif vakalardan kaç tane pozitif vaka doğru olarak sınıflandırılmıştır.

Diğer eksen farklıdır. ROC, FPR'yi kullanır; bu, verilerdeki tüm olumsuzluklardan kaç tanesinin yanlışlıkla pozitif olarak bildirildiğini gösterir. PR eğrisi hassasiyeti kullanır: pozitif olarak tahmin edilenlerin hepsinden kaç gerçek pozitif. Böylece ikinci eksenin tabanı farklıdır. ROC verilerde bulunanları, PR ise tahminlerde bulunanları temel alır.

Verilerde yüksek sınıf dengesizliği olduğunda PR eğrisinin daha bilgilendirici olduğu düşünülmektedir, bu makaleye bakınız http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .

— inzl
kaynak

AuROC 0.5 için minimumdur (çünkü tahmini tersine çevirerek daha azı daha iyi olurdu). AuPR ile benzer kurallar var mı? Ayrıca ölçümlerimle ilgili olarak: Yöntem C'nin puanlarına bakarak ne iddia edebilirim? Çünkü 3 vakada aynı veri seti ile çalışıyorum ve sınıflar arasında az ya da çok eşit dağılım gösteren bir veri seti için benim bakış açımdan, auROC ve auPR'ın benim için aynı sıralamayı takip etmemesi mantıklı değil yöntemleri.

— AdrienNK

auPR'deki rasgele sınıflandırıcı puanı nedir? AuROC'da 0.5 olduğunu biliyorum ama auPR'de bilmiyorum.

— Jack Twain

Rastgele bir sınıflandırıcı için beklenen auPR puanı, veri kümesindeki gerçek pozitif vakaların oranıdır. Sınıfı tahmin etmenizi beklediğiniz hassasiyet budur ve tüm hassasiyet seviyeleri için bu hassasiyeti elde edersiniz. Dolayısıyla, rasgele bir sınıflandırıcı için beklenen PR eğrisi yalnızca yan uzunlukları "gerçek pozitiflerin oranı" x 1 olan bir dikdörtgendir. Örneğin, veri kümeniz% 10 pozitif vaka ve% 90 negatif vaka içeriyorsa, şans altında beklenen auPR 0,1'dir.

— Lizzie Silver