Bir ROC eğrisi nasıl yorumlanır?


14

SAS'daki verilerime lojistik regresyon uyguladım ve işte ROC eğrisi ve sınıflandırma tablosu.

resim açıklamasını buraya girin

Sınıflandırma tablosundaki rakamlarla rahatım, ancak roc eğrisinin ve altındaki alanın tam olarak ne olduğundan emin değilim. Herhangi bir açıklama büyük mutluluk duyacağız.

Yanıtlar:


22

Lojistik regresyon yaptığınızda, ve olarak kodlanmış iki sınıf verilir . Şimdi, bir birey olarak kodlanan sınıfa ait bazı açıklayıcı varialbes verilen olasılıkları hesaplarsınız . Şimdi bir olasılık eşiği seçerseniz ve olasılığı bu eşikten daha büyük olan tüm bireyleri sınıf ve altı olarak olarak sınıflandırırsanız0 1 1 010110, çoğu durumda bazı hatalar yaparsınız çünkü genellikle iki grup mükemmel bir şekilde ayırt edilemez. Bu eşik için artık hatalarınızı ve söz konusu hassasiyet ve özgüllüğü hesaplayabilirsiniz. Bunu birçok eşik için yaparsanız, olası birçok eşik için 1-Özgüllüğe karşı duyarlılık çizerek bir ROC eğrisi oluşturabilirsiniz. İki sınıf arasında ayrım yapmaya çalışan farklı yöntemleri, örneğin, ayrımcı analizi veya bir probit modeli karşılaştırmak istiyorsanız, eğrinin altındaki alan devreye girer. Tüm bu modeller için ROC eğrisini oluşturabilirsiniz ve eğrinin altında en yüksek alana sahip olan en iyi model olarak görülebilir.

Daha derin bir anlayışa ihtiyacınız varsa, buraya tıklayarak ROC eğrileriyle ilgili farklı bir sorunun cevabını da okuyabilirsiniz .


ROC eğrisinin altındaki alan, sınıflandırma tablosundaki doğru orandan nasıl farklıdır?
Günal

2
Tablo sadece bir eşik için doğru olanı ve olmayanları gösterir. Bununla birlikte, AUROC eğrisi, tüm sınıflandırma yönteminin bir ölçüsüdür ve birçok farklı eşik için doğru ve doğru değildir.
random_guy

Bunu duymak güzel!
random_guy

6

AUC temel olarak size sadece 1 etiketli verilerinizdeki tahmini yanıt olasılıklarınızdan rastgele bir çekimin 0 etiketli verilerinizdeki tahmini yanıt olasılıklarınızdan rastgele bir çekilişten daha büyük olacağını söyler.


6

Lojistik regresyon modeli, doğrudan olasılık tahmin yöntemidir. Sınıflandırma kullanımında hiçbir rol oynamamalıdır. Tek tek konulardaki faydaları (kayıp / maliyet fonksiyonu) değerlendirmeye dayalı olmayan herhangi bir sınıflandırma, çok özel acil durumlar dışında uygun değildir. ROC eğrisi burada yararlı değildir; genel sınıflandırma doğruluğu gibi, maksimum olasılık tahmini ile donatılmayan sahte bir model tarafından optimize edilen uygunsuz doğruluk puanlama kuralları olan hassasiyet veya özgüllük de yoktur.

15 p Y pc15pYp0.05


@Frank Harrell: Kesinti ile ilgili hesaplamanın yanı sıra hata payı ile ilgili yorumu da ele alabilir misiniz? Teşekkürler!
julieth

@FrankHarrell, modeli kalibre etmek için sırt regresyonu yaparsak, en az 15p gözleme ihtiyacımız olduğuna dair tavsiyeniz geçerli mi? Anladığım kadarıyla p'yi etkili boyutsallık ile değiştiriyoruz.
Lepidopterist

Doğru, ve parametreleri tahmin etmek için ikinci dereceden (sırt) ceza gibi bir ceza kullandığınızı söyleyebilirim, bu da daha iyi kalibrasyona neden olur
Frank Harrell

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.