Değerlendirme olarak neden AUC yerine Normalize Gini Skoru kullanılmalı?

14

Kaggle'ın yarışması Porto Seguro'nun Güvenli Sürücü Tahmini , değerlendirme metriği olarak Normalize Gini Puanını kullanıyor ve bu da bu seçimin nedenlerini merak ediyordu. Değerlendirme için AUC gibi en alışılmış metrikler yerine normalleştirilmiş gini skoru kullanmanın avantajları nelerdir?

classification  auc  model-evaluation  gini 
— xboard
kaynak
1
Kaggle web sitesi şu cevaba sahipti: "Olumlu örneklerin tümü için hemen ulaşılabilir bir alan var, çünkü tüm olumlu örnekler hemen gerçekleşmiyor. Modelinizin Gini katsayısını Gini katsayısına bölerek normalleştirilmiş Gini katsayısını kullanıyoruz. mükemmel bir model. " ancak artık mevcut değil. webcache.googleusercontent.com/…
— Sextus Empiricus
1
Yani, gini sadece farklı bir ölçekte auc. Yoksa auc ve gini farklı eğrilere mi uygulanır? Benim için makine öğrenimi konusunda uzman değilim. Soru bu konuda çok net değil.
— Sextus Empiricus

Yanıtlar:

3

gini=2×AUC−1
— Miguel
kaynak
6
Bunun yanı sıra, gini katsayısının kullanılması rastgele bir sınıflandırıcının performansını 0 skoruna ayarlar ... normalleştirme, ölçeğin diğer ucunu "iyileştirir" ve mükemmel bir sınıflandırıcının puanının elde edilebilecek bir maksimum yerine 1'e eşit olmasını sağlar. AUC <1. Gelişme, yalnızca daha sezgisel bir ölçeğin iyi olup olmadığına bağlı olarak görecelidir. Bu daha kolay yorumlamanın ötesinde, bunun (normalleştirme) farklı veri setlerinin genelleştirilmesini ve karşılaştırılmasını geliştirdiğini iddia edebilirsiniz.
— Sextus Empiricus
Neden makimum ulaşılabilir AUC 1'den daha az olmalı, ayrıca gini'nin 1'e nasıl ayarlandığını göremiyorum?
— rep_ho
Gini katsayısını ne tür bir eğri hesapladıklarına bağlıdır. Belki bir ROC eğrisinden farklı bir şey kullanırlar (maksimum AUC'si gerçekten 1 olacaktır). Kaggle web sitesindeki kelimeler göz önüne alındığında, maksimum AUC'nin 1 olmadığı makul görünüyor:> "Sonra soldan sağa doğru hareket ediyoruz," Verilerin en sol% x'inde ne kadar birikimli yanıt biriktirdiniz? "
— Sextus Empiricus
— Sextus Empiricus
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.