Dengesiz veri kümesinde ROC vs Hassas geri çağırma eğrileri

Bu tartışmayı okumayı bitirdim . PR AUC'nin dengesiz veri kümesinde ROC AUC'den daha iyi olduğunu iddia ediyorlar.

Örneğin, test veri kümesinde 10 örneğimiz var. 9 numune pozitif ve 1 negatiftir. Her şeyi olumlu tahmin eden korkunç bir modelimiz var. Böylece, TP = 9, FP = 1, TN = 0, FN = 0 olan bir metriğe sahip olacağız.

Sonra, Hassaslık = 0.9, Hatırlama = 1.0. Kesinlik ve geri çağırma çok yüksektir, ancak zayıf bir sınıflandırıcıya sahibiz.

Öte yandan, TPR = TP / (TP + FN) = 1.0, FPR = FP / (FP + TN) = 1.0. FPR çok yüksek olduğundan, bunun iyi bir sınıflandırıcı olmadığını belirleyebiliriz.

Açıkçası, ROC dengesiz veri kümelerinde PR'den daha iyidir. Birisi PR'nin neden daha iyi olduğunu açıklayabilir mi?

Birincisi, Kaggle görevindeki iddia sahte. " Hassas Geri Çağırma ve ROC Eğrileri Arasındaki İlişki " olarak adlandırdıkları makalede , PR AUC'nin ROC AUC'dan daha iyi olduğu iddia edilmemektedir. Değerlerini değerlendirmeden özelliklerini basitçe karşılaştırırlar.

Bazı çok dengesiz uygulamalarda ROC eğrileri bazen yanıltıcı olabilir. Bir ROC eğrisi, azınlık sınıfının çoğunu veya tamamını yanlış sınıflandırırken yine de oldukça iyi görünebilir (yani rastgele olmaktan daha iyi).

Buna karşılık, PR eğrileri nadir olayların tespiti için özel olarak tasarlanmıştır ve bu senaryolarda oldukça kullanışlıdır. Azınlık sınıfının çoğunu veya tamamını yanlış sınıflandırıyorsa sınıflandırıcısının düşük bir performansa sahip olduğunu göstereceklerdir. Ancak daha dengeli vakalara veya olumsuzlukların nadir olduğu vakalara iyi tercüme edilmezler.

Buna ek olarak, olumlu olayların temel olasılığına duyarlı oldukları için, iyi bir genelleme yapmazlar ve sadece oluşturdukları belirli veri kümesine veya tam olarak aynı dengeye sahip veri sayfalarına uygulanırlar. Bu, farklı çalışmalardan elde edilen PR eğrilerini karşılaştırmak ve bunların yararlılıklarını sınırlamak genellikle zor olduğu anlamına gelir.

Her zaman olduğu gibi, kullanabileceğiniz araçları anlamak ve doğru uygulama için doğru olanı seçmek önemlidir. CV'de ROC sorgusunu hassasiyet ve geri çağırma eğrilerine göre okumanızı öneririm .

Örneğiniz kesinlikle doğrudur.

Ancak, Kaggle yarışması / gerçek yaşam uygulaması bağlamında, çarpık bir veri kümesi genellikle negatif örneklerden çok daha az pozitif örnek içeren bir veri kümesi anlamına gelir. Sadece bu durumda PR AUC, ROC AUC'den daha "anlamlı" dır.

10 pozitif ve 990 negatif örnek bulunan TP = 9, FN = 1, TN = 900, FP = 90 olan bir dedektör düşünün. TPR = 0.9, FPR = 0.1 iyi bir ROC skorunu gösterir, ancak Hassaslık = 0.1 kötü bir PR skorunu gösterir.

Orada yarı yoldasınız.

Genellikle dengesiz modeller, heck, hatta dengeli modeller yaptığımda, TÜM sınıflarım için PR'ye bakarım.

Örneğinizde, evet, pozitif sınıfınızda P = 0.9 ve R = 1.0 vardır. Ama bakman gereken, TÜM sınıfların. Yani negatif sınıfınız için P = 0 ve R = 0'ınız. Ve genellikle sadece PR puanlarına bireysel olarak bakmazsınız. F1 skoruna (probleminize bağlı olarak F1 makrosu veya F1 mikro) bakmak istiyorsunuz, bu hem sınıf 1 hem de sınıf 0 için PR puanlarınızın harmonik ortalamasıdır, ancak sınıf 1 PR skorunuz süper iyidir, ancak bunu 0 PR puanınız varsa, F1 puanınız KORKUNÇ olacaktır, bu da senaryonuz için doğru sonuçtur.

TL, DR: TÜM sınıflarınız için PR puanlarına bakın ve model performansınız hakkında gerçekçi bir sonuç elde etmek için bunları F1 puanı gibi bir metrikle birleştirin. Senaryonuz için F1 puanı KORKUNÇ olacaktır, bu da senaryonuz için doğru sonuçtur.