Çok dengesiz bir veri setim olduğu için (% 9 olumlu sonuçlar), hassas hatırlama eğrisinin ROC eğrisinden daha uygun olduğuna karar verdim. PR eğrisi altındaki alanın benzer özet ölçüsünü aldım (eğer ilgileniyorsanız .49), ancak nasıl yorumlanacağından emin değilim. ROC için iyi bir AUC'nin .8 veya üstü olduğunu duydum, ancak genel hatırlatmalar, hassas hatırlama eğrisi için AUC için aynı mı olurdu?
Yanıtlar:
Orada hiçbir sihirli kesme AUC-TKH veya AUC-PR biri için. Daha yüksek olması daha iyidir, ancak tamamen uygulamaya bağlıdır.
Örneğin, 0.8'lik bir AUC ile karlı yatırımları başarılı bir şekilde belirleyebilseydiniz veya bu nedenle şanstan ayırt edilebilir bir şey varsa, çok etkilendim ve çok zengin olacaksınız. Öte yandan, el yazısı rakamları 0,95'lik bir AUC ile sınıflandırmak, halen mevcut teknolojinin önemli ölçüde altındadır.
Ayrıca, mümkün olan en iyi AUC-ROC'nin [0,1] 'de olması garanti edilirken, hassas hatırlama eğrileri için bu doğru değildir, çünkü sınıf dağılımlarının eğriliğine bağlı olarak PR alanının "ulaşılamaz" alanları olabilir. (Ayrıntılar için Boyd ve arkadaşlarının (2012) makalesine bakınız).
.49 harika değil, ancak yorumu ROC AUC'den farklı. ROC AUC için, bir lojistik regresyon modeli kullanarak bir .49 elde ettiyseniz, rastgele olmaktan daha iyi bir şey yapmadığınızı söyleyebilirim. Ancak .49 PR AUC için o kadar da kötü olmayabilir. Bireysel hassasiyete ve hatırlamaya bakmayı düşünürüm, belki biri ya da diğeri PR AUC'nizi aşağı çeken şeydir. Hatırlama,% 9 pozitif sınıfın gerçekte ne kadarını doğru tahmin ettiğinizi söyleyecektir. Kesinlik size kaç kişinin pozitif olduğunu tahmin ettiğinizi söyleyecektir. (Yanlış Pozitifler). % 50 geri çağırma kötü olacaktır, yani dengesiz sınıfınızın çoğunu tahmin etmiyorsunuzdur, ancak belki de% 50 hassasiyet kötü olmaz. Durumunuza bağlıdır.
Rastgele bir tahmin edicinin sizin durumunuzda 0.09 PR-AUC değeri olacaktır (% 9 olumlu sonuçlar), bu nedenle 0.49'unuz kesinlikle önemli bir artıştır.
Bu iyi bir sonuç ise, diğer algoritmalarla karşılaştırılarak değerlendirilebilir, ancak kullandığınız yöntem / veriler hakkında ayrıntılı bilgi vermediniz.
Ayrıca, PR eğrisinizin şeklini değerlendirmek isteyebilirsiniz. İdeal bir PR-eğrisi, yatay olarak üst-sağ köşeden sağa ve sağa doğru sağa aşağı köşeye gider, bu da PR-AUC 1 ile sonuçlanır. Bazı uygulamalarda, PR-eğrisi başlangıçta hızlı bir şekilde güçlü bir artış gösterir. tekrar "rasgele tahminci çizgisine" yakın (düşey durumunuzda 0,09 hassasiyette yatay çizgi). Bu, "güçlü" olumlu sonuçların iyi bir şekilde tespit edildiğini, ancak daha az net olan adaylar üzerindeki performansın kötü olduğunu gösterir.
Algoritmanızın kesim parametresi için iyi bir eşik bulmak istiyorsanız, PR eğrisinde sağ köşeye en yakın noktayı düşünebilirsiniz. Ya da daha iyisi, mümkünse çapraz doğrulamayı düşünün. Uygulamanız için PR-AUC değerinden daha ilginç olan belirli bir kesme parametresi için kesinlik ve geri çağırma değerleri elde edebilirsiniz. AUC'ler, farklı algoritmaları karşılaştırırken en ilgi çekici olanlardır.