Bu grafiğin adı yanlış ve gerçek pozitif oranları gösteren nedir ve nasıl üretilir?

Aşağıdaki resim, doğru pozitif oranlara karşı sürekli olarak yanlış pozitif oranların bir eğrisini göstermektedir:

Ancak, hemen alamadığım, bu oranların nasıl hesaplandığı. Bir veri kümesine bir yöntem uygulanırsa, belirli bir FP hızına ve belirli bir FN hızına sahiptir. Bu, her yöntemin eğri yerine tek bir noktaya sahip olması gerektiği anlamına gelmiyor mu? Elbette, bir yöntemi yapılandırmanın, çok sayıda farklı nokta üretmenin birçok yolu var, ancak bu oranların sürekliliğinin nasıl olduğu ve nasıl üretildiği bana açık değil.

Komplodur ROC eğrisi ve (Yanlış Pozitif Oranı, Doğru Pozitif Oranı) noktaları farklı eşikler için hesaplanır. Tekdüzen bir yardımcı program işleviniz olduğunu varsayarsak, en uygun eşik değeri (0, 1) en yakın olan değerdir.

ROC eğrileri oluşturmak için (= Alıcı Çalışma Karakteristiği eğrileri):

Lojistik regresyon gibi olasılıksal, ikili bir sınıflandırıcı olduğunu varsayalım. ROC eğrisini sunmadan önce, karışıklık matrisi kavramı anlaşılmalıdır. İkili bir tahmin yaptığımızda, 4 tür hata olabilir:

• Sınıfın aslında 0 olması gerektiğinden 0 tahmin ediyoruz: buna True Negative denir , yani sınıfın negatif olduğunu doğru olarak tahmin ederiz (0). Örneğin, bir virüsten koruma yazılımı zararsız bir dosyayı virüs olarak algılayamadı.
• Sınıfın gerçekte 1 olması gerektiğinden 0 tahmin ediyoruz: buna Yanlış Negatif denir , yani yanlış olarak sınıfın negatif olduğunu tahmin ederiz (0). Örneğin, bir virüsten koruma yazılımı bir virüs tespit edemedi.
• Sınıfın aslında 0 olması gerektiğinden 1 değerini tahmin ediyoruz: buna Yanlış Pozitif denir , yani yanlış sınıfın pozitif olduğunu tahmin ederiz (1). Örneğin, bir virüsten koruma yazılımı zararsız bir dosyanın virüs olduğunu düşündü.
• Sınıfın gerçekte 1 olması gerektiği halde 1'i tahmin ediyoruz: buna Gerçek Pozitif denir , yani sınıfın pozitif olduğunu doğru tahmin ediyoruz (1). Örneğin, bir virüsten koruma yazılımı haklı olarak bir virüs algıladı.

Karışıklık matrisini elde etmek için, model tarafından yapılan tüm tahminleri gözden geçiriyoruz ve bu 4 hata türünün her birinin kaç kez gerçekleştiğini sayıyoruz:

Bu bir karmaşa matrisi örneğinde, sınıflandırılmış 50 veri noktası arasında, 45 doğru sınıflandırılmış ve 5 yanlış sınıflandırılmıştır.

İki farklı modeli karşılaştırdığımızda, birkaç taneden ziyade tek bir metriğe sahip olmak çoğu zaman daha uygun olduğundan, daha sonra bir tanede birleştireceğimiz karışıklık matrisinden iki ölçüm hesaplıyoruz:

• Gerçek pozitif oran ( TPR ), aka. olarak tanımlanan hassasiyet, isabet oranı ve geri çağırma . Sezgisel olarak bu metrik, tüm pozitif veri noktalarına göre pozitif olarak kabul edilen pozitif veri noktalarının oranına karşılık gelir. Başka bir deyişle, daha yüksek TPR, daha az pozitif veri noktası kaçıracağız.$\frac{TP}{TP+FN}$
• Yanlış pozitif oran ( FPR ), aka. olarak tanımlanan düşüş . Sezgisel olarak bu metrik, tüm negatif veri noktalarına göre yanlışlıkla pozitif olarak kabul edilen negatif veri noktalarının oranına karşılık gelir. Başka bir deyişle, FPR ne kadar yüksekse, veri puanları o kadar fazla negatif olacaktır.$\frac{FP}{FP+TN}$

FPR ve TPR'yi tek bir metrikte birleştirmek için, önce iki eski metriği birçok farklı eşikle (örneğin ) lojistik regresyon için hesapladık, sonra bunları tek bir grafiğe çizdik, abscissa üzerindeki FPR değerleri ve koordinattaki TPR değerleri ile. Ortaya çıkan eğri ROC eğrisi olarak adlandırılır:$0.00; 0.01, 0.02, \dots, 1.00$

Bu şekilde, mavi alan, Alıcının Çalışma Karakteristiği (AUROC) eğrisinin altındaki Alana karşılık gelir. Çaprazdaki kesikli çizgi, rastgele bir tahmincinin ROC eğrisini sunarız: AUROC değeri 0,5. Rastgele prediktör, modelin faydalı olup olmadığını görmek için genel olarak bir taban çizgisi olarak kullanılır.

Bazı ilk elden tecrübe edinmek istiyorsanız:

• Python: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

Morten'in cevabı başlıktaki soruyu doğru bir şekilde ele alıyor - rakam aslında bir ROC eğrisi. Yanlış pozitif oranlar dizisi (FPR) karşılık gelen gerçek pozitif oranlara göre çizilerek üretilir.

Ancak, gönderinizin gövdesinde sorduğunuz soruyu yanıtlamak istiyorum.

Bir veri kümesine bir yöntem uygulanırsa, belirli bir FP hızına ve belirli bir FN hızına sahiptir. Bu, her yöntemin eğri yerine tek bir noktaya sahip olması gerektiği anlamına gelmiyor mu? Elbette, bir yöntemi yapılandırmanın, çok sayıda farklı nokta üretmenin birçok yolu var, ancak bu oranların sürekliliğinin nasıl olduğu ve nasıl üretildiği bana açık değil.

Birçok makine öğrenim yöntemi ayarlanabilir parametrelere sahiptir. Örneğin, bir lojistik regresyonun çıktısı, öngörülen bir sınıf üyeliği olasılığıdır. Öngörülen olasılıkları olan tüm noktaları bir sınıfa eşik değerin üzerinde bir sınıfa ve geri kalanını diğerine sınıflandırmak için bir karar kuralı, her biri farklı TPR ve FPR istatistiklerine sahip esnek bir sınıflandırıcı yelpazesi oluşturabilir. Aynısı ağaç oylarını düşünen rastgele bir orman veya hiper düzlemden imzalı mesafeyi düşündüğünüz SVM durumunda da yapılabilir.

Örnek dışı performansı tahmin etmek için çapraz onaylama yaptığınız durumda, tipik uygulama bir TPR ve FPR dizisi oluşturmak için tahmin değerlerini (oylar, olasılıklar, imzalanan mesafeler) kullanmaktır. Bu genellikle bir adım işlevine benzer, çünkü tipik olarak her öngörülen değerde TP'den FN veya FP'ye FN'ye geçen yalnızca bir nokta vardır (örn. Örnek dışı tüm öngörülen değerler benzersizdir). Bu durumda, TPR ve FPR hesaplamak için bir seçenek sürekliliği varken, TPR ve FPR işlevleri sürekli olmayacaktır, çünkü sadece çok az sayıda örneklem dışı nokta vardır, bu nedenle sonuçtaki eğriler adım benzeri bir görünüme sahip olacaktır. .

Wikipedia'dan:

ROC eğrisi ilk önce II. Dünya Savaşı sırasında elektrik mühendisleri ve radar mühendisleri tarafından savaş alanlarındaki düşman nesnelerini tespit etmek için geliştirildi ve kısa süre sonra uyaranların algısal algılanmasını saptamak için psikoloji ile tanıştırıldı. O zamandan beri ROC analizi tıp, radyoloji, biyometri ve diğer alanlarda on yıllardır kullanılmaktadır ve giderek artan şekilde makine öğrenimi ve veri madenciliği araştırmalarında kullanılmaktadır.

ROC aynı zamanda göreceli çalışma karakteristiği eğrisi olarak da bilinir, çünkü kriter değiştikçe iki çalışma karakteristiğinin (TPR ve FPR) karşılaştırmasıdır.

İki ekseni ikili sınıflandırıcının çalışması için yapılması gereken maliyetler olarak düşünebilirsiniz. İdeal olarak, mümkün olduğunca yüksek bir gerçek pozitif oran için mümkün olduğunca düşük bir yanlış pozitif orana maruz kalmak istersiniz. İkili sınıflandırıcının mümkün olduğunca fazla sayıda gerçek pozitif için az sayıda yanlış pozitif çağırmasını istersiniz.

Somutlaştırmak için, bazı biyobelirteçlerin miktarını ölçerek belirli bir hastalığın mevcut olup olmadığını tespit edebilen bir sınıflandırıcı düşünün. Biyobelirteç'in 0 (yok) ile 1 (doymuş) aralığında bir değere sahip olduğunu hayal edin. Hangi seviye hastalığın tespitini maksimize eder? Biyobelirteç, bazı seviyelerin üzerinde bazı insanları hastalığa sahip olarak sınıflandırır, ancak hastalığa sahip değildir. Bunlar yanlış pozitifler. O zaman elbette, hastalıkları gerçekten olduğu zaman hastalığa sahip olarak sınıflandırılacak olanlar var. Bunlar gerçek pozitifler.

ROC, tüm pozitiflerin gerçek pozitiflerinin, olası tüm eşik değerlerini dikkate alarak hatalı pozitiflerin oranına göre değerlendirir.