ROC eğrisini anlama

ROC eğrisini anlamada sorun yaşıyorum.

Eğitim setinin her bir alt kümesinden farklı modeller oluşturup bir olasılık üretmek için kullanırsam, ROC eğrisinin altındaki alanda herhangi bir avantaj / gelişme var mı? Örneğin, değerlerine sahiptir , ve modeli inşa kullanılarak 1.-4 değerlerinden ve 8. ve 9. değerleri ve kalan tren verilerini kullanarak modelini oluşturun . Son olarak, olasılık üretin. Herhangi bir düşünce / yorum çok takdir edilecektir.$y$$\{a, a, a, a, b, b, b, b\}$$A$$a$$y$$y$$B$

Sorum için daha iyi bir açıklama için r kodu:

Y    = factor(0,0,0,0,1,1,1,1)
X    = matirx(rnorm(16,8,2))
ind  = c(1,4,8,9)
ind2 = -ind

mod_A    = rpart(Y[ind]~X[ind,])
mod_B    = rpart(Y[-ind]~X[-ind,])
mod_full = rpart(Y~X)

pred = numeric(8)
pred_combine[ind]  = predict(mod_A,type='prob')
pred_combine[-ind] = predict(mod_B,type='prob')
pred_full          = predict(mod_full, type='prob')

Benim soru ROC eğrisi altındaki alandır pred_combineVS pred_full.

Soruyu anladığımdan emin değilim, ancak başlık ROC eğrilerini açıklamayı istediğinden beri deneyeceğim.

ROC Eğrileri, sınıflandırıcınızın pozitif ve negatif örnekleri ne kadar iyi ayırabildiğini görmek ve bunları ayırmak için en iyi eşiği belirlemek için kullanılır.

ROC eğrisini kullanabilmek için, sınıflandırıcınızın sıralama yapması gerekir - yani, daha yüksek dereceye sahip olanların pozitif olma ihtimalinin daha yüksek olduğu örnekleri sıralayabilmelidir . Örneğin, Logistic Regression , sıralama için kullanabileceğiniz bir puan olan olasılıkları ortaya çıkarır.

ROC eğrisi çizme

Bir veri seti ve bir sıralama sınıflandırıcısı verildiğinde:

• Test örneklerini en yüksek en düşük puan ile siparişte isteyin
• başlamak$(0, 0)$
• Sıralanan sırada her örnek için$x$
  • Eğer pozitiftir, hareket kadar$x$$1/\text{pos}$
  • eğer negatif ise, hareket hakkı$x$$1/\text{neg}$

burada ve sırasıyla pozitif ve negatif örneklerin kesirleridir.$\text{pos}$$\text{neg}$

Bu güzel gif animasyonlu resim bu süreci daha net göstermeli

Bu grafikte, ekseni gerçek pozitif oran, ekseni ise hatalı pozitif orandır. Çapraz çizgiyi not edin - bu, rastgele bir sınıflandırıcı ile elde edilebilecek taban çizgisidir. ROC eğrimiz ne kadar yüksek olursa çizginin üstünde o kadar iyidir.$y$$x$

ROC Altındaki Alan

ROC Eğrisi altındaki alan (gölgeli) doğal olarak taban çizgisinden eğrinin ne kadar uzak olduğunu gösterir. Taban çizgisi için 0,5 ve mükemmel sınıflandırıcı için 1'dir.

Bu soruda AUC ROC hakkında daha fazla bilgi edinebilirsiniz: AUC neyi temsil ediyor ve bu nedir?

En İyi Eşiği Seçme

En iyi eşiği seçme işlemini kısaca açıklayacağım ve referansta daha fazla ayrıntı bulunabilir.

En iyi eşiği seçmek için ROC eğrinizin her noktasını ayrı bir sınıflandırıcı olarak görürsünüz. Bu mini sınıflandırıcılar, puanın + ve - arasında bir sınır olarak aldığı puanı kullanır (yani mevcut olanın üzerindeki tüm puanları + olarak sınıflandırır)

Veri setimizdeki pos / neg oranına bağlı olarak -% 50 /% 50 olması durumunda taban çizgisine paralel olarak - ISO Doğruluk Hatları'nı kurar ve birini en iyi doğrulukla alırsınız.

İşte bunu gösteren bir resim ve detaylar için sizi tekrar referansa davet ediyorum

Referans

• http://mlwiki.org/index.php/ROC_Analysis