ROC ve hassas hatırlama eğrileri

159

Aralarındaki biçimsel farklılıkları anlıyorum, bilmek istediğim biri ile diğerini kullanmanın daha uygun olduğu zaman.

Belirli bir sınıflandırma / tespit sisteminin performansı hakkında her zaman tamamlayıcı bir içgörü sağlıyorlar mı?
İkisinin de bir gazetede sunulması ne zaman mantıklıdır? sadece bir tane yerine?
Bir sınıflandırma sistemi için hem ROC hem de hassas hatırlama ile ilgili hususları yakalayan alternatif (belki daha modern) tanımlayıcılar var mı?

İkili ve çok-sınıflı (örneğin, hepsi-bir-hepsi) davaları için olan argümanlarla ilgileniyorum.

machine-learning roc precision-recall

Bu yazı sadece bir bağlamda görünmelidir: biostat.wisc.edu/~page/rocpr.pdf

Bunu burada kendi tezimden bahsetmek için bir "fiş" için kullanabilirim ... Leitner'de (2012) F-'nin harmonik ortalaması olarak bir "F-ölçülen Ortalama Hassasiyet" (FAP) metriği önerdim (bkz. S. 65). ölçmek ve Ortalama Hassas. Yani, bir dizi değerlendirme metriğinin sıralı bir değerlendirme metriğininki ile bir kombinasyonu. Tezde, eğitim setinde FAP puanının en üst düzeye çıkarılmasının, başka türlü sınırlandırılmamış bir bilgi alma görevini sınırlamak için en iyi eşik noktasını belirlemek için kullanılabileceğini gösterdim (100'lerce BioCreative çalışması!).

— 17'de

Burada, dengesiz bir veri setinde AUC-ROC ve PR eğrisi hakkında bir başka güzel tartışma var. Dsimcha'nın söylediği ile aynı sonuca sahiptir. Nadir bir vakayı daha fazla önemsiyorsan PR kullanmalısın.

— YC

Yanıtlar:

207

Temel fark, ROC eğrilerinin, temel olasılık ne olursa olsun aynı olacağı, ancak PR eğrileri samanlıkta iğne tipi tipi problemler veya pratikte "pozitif" sınıfın negatif olandan daha ilginç olduğu problemlerde pratikte daha yararlı olabileceğidir. sınıf.

Bunu göstermek için öncelikle hassasiyet, hatırlama ve özgüllük tanımlamak için çok güzel bir yolla başlayalım. Eğer 1 olarak adlandırılan bir "pozitif" sınıf ve 0'a denilen bir "negatif" sınıf var varsayalım gerçek sınıf etiketin sizin tahminidir . Ardından: Dikkat edilmesi gereken en önemli şey hassasiyet / hatırlama ve özgüllüktür. ROC eğrisini oluşturan, gerçek sınıf etiketinde şartlandırılmış olasılıklardır . Bu nedenle bağımsız olarak aynı olacaktır . Hassasiyet şartlı bir olasılıktır $\hat{Y}$ $Y$

\begin{aligned} Precision & = P (Y = 1 | \hat{Y} = 1) \\ Recall = Sensitivity & = P (\hat{Y} = 1 | Y = 1) \\ Specificity & = P (\hat{Y} = 0 | Y = 0) \end{aligned}

$\begin{aligned} &\text{Precision} &= P(Y = 1 | \hat{Y} = 1) \\ &\text{Recall} = \text{Sensitivity} &= P(\hat{Y} = 1 | Y = 1) \\ &\text{Specificity} &= P(\hat{Y} = 0 | Y = 0) \end{aligned}$

P (Y = 1)

$P(Y = 1)$ sınıf etiketine ilişkin tahmininiz ve böylelikle sınıflandırıcınızı farklı taban çizgileri olan farklı popülasyonlarda denerseniz değişir . Ancak, bilinen geçmişe sahip tek bir popülasyonu umursuyorsanız ve "pozitif" sınıf "negatif" sınıftan çok daha ilginçse pratikte daha yararlı olabilir. (IIRC hassasiyeti, belge alma alanında popülerdir, bu durum böyledir.) Bunun nedeni doğrudan "Sınıflandırıcımın söylediğine göre bunun gerçek bir hit olma olasılığı nedir?" Sorusuna cevap vermesidir.

P (Y = 1)

$P(Y = 1)$

İlginç bir şekilde, Bayes teoremine göre, özgüllüğün aynı anda çok düşük ve hassas olabileceği durumlar üzerinde çalışabilirsiniz. Tek yapmanız gereken sıfıra çok yakın olduğunu varsaymak . Uygulamada, DNA dizi hayscks'lerinde iğneler ararken bu performans özelliğine sahip birkaç sınıflandırıcı geliştirdim. $P(Y = 1)$

Bir makaleyi yazarken IMHO hangi eğrinin cevaplamak istediğiniz soruyu yanıtladığını (ya da hangisi alaycıysanız yönteminize daha uygun olanı) sağlamalıdır. Sorunuz: "Sorunumun temel olasılıkları verilen sınıflandırıcımın pozitif sonucu ne kadar anlamlı ?", Bir PR eğrisi kullanın. Eğer sorunuz, "Bu sınıflandırıcının genel olarak çeşitli farklı temel olasılıklarda ne kadar iyi performans göstermesi bekleniyor ?" İse, bir ROC eğrisi ile devam edin.

— dsimcha
kaynak

bu harika bir açıklamaydı!

— Amelio Vazquez-Reina,

+1, Kesinlik, Geri Çağırma ve Özgüllüğün olasılıklı yorumlarına dair büyük içgörü.

— Zhubarb

Ne cevap! Keşke iki kere yukarı oy kullanabilseydim.

— Londralı adam,

Daha önceki yorumumdan açıkça anlaşılmadıysa: Bu cevap, özgüllüğü kullanan ROC eğrileri gibi yanlıştır . Örneğin, ROC analizine bir giriş - benim de cevabımdaki gibi eksikliklerini gösteren bir ipucu: “Birçok gerçek dünya etki alanı çok sayıda olumsuz durumun etkisinde kalıyor, böylece ROC grafiğinin en solundaki performans ortaya çıkıyor daha ilginç."

— fnl

+0.5 @fnl. Açıkça yanlış olmasa da sorunun cevabının eksik olduğunu düşünüyorum; Olasılıksal yorumlama çok açığız ancak temel soruya bakılıyor. Ek olarak, şu soruyu soracağım: " Benim sorunumun temel olasılıkları göz önüne alındığında sınıflandırıcımın olumlu sonucu ne kadar anlamlı? " " Genel olarak ROC-AUC" perspektif sadece çok bulanık olduğunu. (Son modelin oluşturulmasında hiçbirinin yüz değerinde kullanılmaması gerektiği

— söylenemez

İşte Davis & Goadrich tarafından ROC ve PR alanı arasındaki ilişkiyi açıklayan bir makalenin sonuçları . İlk iki soruya cevap veriyorlar:

İlk olarak, herhangi bir veri kümesi için, belirli bir algoritma için ROC eğrisi ve PR eğrisi aynı noktaları içerir. Bu denklik, ROC uzayında bir eğrinin baskın olması ve sadece PR uzayında baskın olması durumunda şaşırtıcı teoremi ortaya çıkarır. İkincisi, teoremin bir sonucu olarak, elde edilebilir PR eğrisi olarak adlandırdığımız ROC uzayındaki PR uzay analogunun konveks gövdeye olan varlığını gösteriyoruz. Dikkat çekici bir şekilde, elde edilebilir PR eğrisi oluşturulurken, biri ROC boşluğundaki dışbükey gövde tarafından verilen aynı noktaları atar. Sonuç olarak, ulaşılabilir PR eğrisini verimli bir şekilde hesaplayabiliriz. [...] Son olarak, ROC eğrisi altındaki alanı optimize eden bir algoritmanın PR eğrisi altındaki alanı optimize etmek için garanti edilmediğini gösteriyoruz.

Başka bir deyişle, ilke olarak, ROC ve PR sonuçları karşılaştırmak için aynı derecede uygundur. Ancak, 20 isabet ve 1980 özleminin sonucu olan örnek olay için, Şekil 11 ve 12'de gösterildiği gibi farklılıkların daha sert olabileceğini göstermektedir.

Davis ve Goadrich'den Şekil 11 ve 12

Sonuç / eğri (I), 20 isabetin 10'unun ilk on sırada olduğu ve geri kalan 10 isabetin ilk 1500 safhasına eşit şekilde yayıldığı bir sonucu açıklar. Resut (II), 20 isabetin ilk 500 (2000 üzerinden) sıralamasına eşit şekilde yayıldığı bir sonucu açıklar. Dolayısıyla, (I) gibi bir "şekil" sonucunun tercih edildiği durumlarda, bu tercih PR-uzamda açıkça ayırt edilebilirken, iki sonucun AUC ROC'si neredeyse eşit olur.

— FNL
kaynak

Bu grafikler, her çarpışmaya rastlandığında (eğri I için ilk 10'dan sonra) ROC eğrilerindeki adımları gösterecek şekilde açıklanan durumu yansıtmaz (ayrıştırmaz). ROCCH, Convex Hull ile böyle görünür. PR için de benzer şekilde, Precision her vuruşta bir çentik yükselir, sonra eğer bu noktada Precision 0 olarak tanımlanırsa (0) 'dan başlayarak tahmin edilen hiçbir şey için (0,0)' den başlayarak ıskalar sırasında çürümeye başlar (0 / 0) - gösterildiği gibi II eğrisi, her bir eşik (ve dolayısıyla Geri Çağırma) seviyesindeki kesinlik değil, maksimum Kesinliktir.

— David MW,

Bu aslında bulduğum kağıdın versiyonunda Şekil 7. Kağıt aslında ROC eğrisini kullanarak PR eğrisini enterpolasyonlar. Hakimiyet sonucunun, hatırlanmanın sıfır olmadığı varsayımına dayandığına dikkat edin, bu ilk vuruş bulunana kadar geçerli değildir ve Hassasiyet (makalede tanımlandığı gibi) o zamana kadar resmen tanımlanmamıştır (0/0).

— David MW

Evet, doğru takdirsizliğin eksikliği söz konusudur (çok sayıda çalışma üzerinden ortalama alındığında böyle bir komplo ortaya çıksa da). Bununla birlikte, makalenin sonucu tanımsızlık sorunları nedeniyle beklediğinizden daha az anlamlıdır ve sadece yeniden ölçeklendirme açısından sonucu anladığınızda beklediğiniz kadar önemli değildir. Asla PR kullanmazdım, ama bazen ROC'ye ölçeklerim veya eşdeğerde PN kullanırım.

— David MW,

İlk önce, Şekil 7'deki grafikler (11 - 12) alakasızdır - bunlar eğitimli bir sistem için kademeli grafikler değildir (pozitif örnekler bir azaltma eşiğini aştığı için), ancak FARKLI sistemlerin sayısı sonsuzluğa yaklaştıkça limit ortalamalara karşılık gelir. İkinci Hassasiyet ve Geri Çağırma web araması için tasarlandı ve her ikisi de (büyük olarak kabul edilen) gerçek negatiflerin (Prec = TP / PP ve Rec = TP / RP) sayısını tamamen IGNORE olarak belirledi. Üçüncüsü, Kesinlik ve Geri Çağırma grafiği gerçekten sadece belirli bir TP seviyesi için karşılıklı önyargı (1 / PP) - karşılıklı yaygınlık (1 / RP) gösteriyor (eğer TP doğru sonuçlarda bir web taramasını durdurduysanız).

— David MW

Tamam, bu yüzden tüm şüphelerimi temizledikten sonra, okuyuculara @DavidMWPowers'ın cevabının benimkinde tercih edilmesi gerektiğine inandığımı bildirmem gerektiğini düşünüyorum.

— FNL

Değerlendirme hakkında bir çok yanlış anlaşılma var. Bunun bir kısmı verilere gerçek bir ilgi duymadan veri kümeleri üzerinde algoritmaları optimize etmeye çalışmak Makine Öğrenme yaklaşımından geliyor.

Tıbbi bir bağlamda, gerçek dünya sonuçları ile ilgilidir - örneğin, ölmekten kaç kişiyi kurtardığınızı. Tıbbi bir bağlamda Duyarlılık (TPR), pozitif vakaların kaç tanesinin doğru şekilde alındığını görmek için kullanılır (Spesifiklik (TNR), negatif vakaların kaç tanesinin doğru olduğunu görmek için kullanılırken Spesifiklik (TNR) kullanılırken pozitif vakaların kaç tanesinin doğru şekilde alındığını görmek için kullanılır. elimine edilir (yanlış pozitif olarak bulunan oranın en aza indirilmesi = FPR). Bazı hastalıkların milyonda bir sıklığı vardır. Bu nedenle, her zaman negatif olanı tahmin ederseniz, 0,999999 değerinde bir Doğruluğa sahip olursunuz - bu, basitçe maksimum sınıfı öngören basit ZeroR öğrenicisi tarafından gerçekleştirilir. Hastalıktan uzak olduğunuzu öngörmek için Geri Çağırma ve Hassasiyeti göz önünde bulundurursak, ZeroR için Geri Çağırma = 1 ve Hassas = 0,999999 değerlerine sahibiz. Tabii ki, ters + ve -ve tersine çevirirseniz ve bir kişinin ZeroR ile hastalığı olduğunu tahmin etmeye çalışırsanız, Geri Çağırma = 0 ve Hassas = undef (olumlu bir tahmin bile yapmadınız, ancak çoğu zaman insanlar bu değeri 0 olarak tanımlar) durum). Geri Çağırma (+ ve Geri Çağırma) ve Ters Geri Çağırma (-ve Geri Çağırma) ve ilgili TPR, FPR, TNR ve FNR’nin her zaman tanımlandığını unutmayın; çünkü sorunla uğraşıyoruz çünkü ayırt etmek için iki sınıf olduğunu biliyoruz ve kasıtlı olarak sağlıyoruz. her birine örnekler.

Tıbbi bağlamda eksik kanser (birileri ölür ve dava edilir) ile web araştırmasında bir makaleyi kaçırmanın (diğerlerinden birinin önemli olması durumunda başvuru yapması iyi bir ihtimaldir) arasındaki büyük farklılığa dikkat edin. Her iki durumda da, bu hatalar büyük bir negatif popülasyona karşı sahte negatifler olarak tanımlanır. İnternet araştırması vakasında, yalnızca çok az sayıda sonuç (örn. 10 veya 100) gösterdiğimiz ve gösterilmemenin gerçekten olumsuz bir tahmin olarak görülmemesi gereken (101 olabilirdi), çünkü gerçek negatiflerin büyük bir popülasyonunu otomatik olarak alacağız. ), kanser testi durumunda, her insan için bir sonucumuz varken, websearch'den farklı olarak yanlış negatif seviyeyi (oranı) aktif olarak kontrol ediyoruz.

Dolayısıyla ROC, gerçek pozitifler (gerçek pozitiflerin bir oranı olarak yanlış negatiflere karşı) ve sahte pozitifler (gerçek negatiflerin bir oranı olarak gerçek negatiflere karşı) arasındaki değişimleri araştırıyor. Hassasiyet (+ ve Geri Çağırma) ve Özgüllük (-ve Geri Çağırma) karşılaştırmasıyla eşdeğerdir. TPR vs FPR yerine TP vs FP'yi çizdiğimizde aynı görünen bir PN grafiği de var - ancak arsa karesini çizdiğimiz için tek fark ölçeklere koyduğumuz sayılar. TPR = TP / RP, FPR = TP / RN sabitleri ile ilişkilidir, burada RP = TP + FN ve RN = FN + FP veri setindeki Gerçek Pozitif ve Gerçek Negatiflerin sayısıdır ve tersine PP = TP + FP ve PN = TN + FN, Olumlu Tahmin Etme veya Olumsuz Tahmin etme sayısıdır. Pozitif yanıt sıklığı rp = RP / N ve rn = RN / N diyoruz. negatif ve pp = PP / N ve rp = RP / N pozitif yanıt yanlılığı.

Duyarlılık ve Spesifikliği toplar ya da ortalarsak ya da Bölgeye bakarsak Tradeoff Eğrisi altında (ROC'ye eşittir, sadece x eksenini ters çevirir), hangi sınıfı + ve + ile değiştirirsek aynı sonucu alırız. Bu Hassasiyet ve Geri Çağırma için doğru değildir (yukarıda ZeroR tarafından hastalık tahmini ile gösterildiği gibi). Bu keyfilik, Hassasiyet, Geri Çağırma ve ortalamalarının (aritmetik, geometrik veya harmonik) ve tradeoff grafiklerinin büyük bir eksikliğidir.

Sistem parametreleri değiştikçe PR, PN, ROC, LIFT ve diğer çizelgeler çizilir. Bu klasik grafik, eğitilen her bir sistem için puan verir, genellikle bir örneğin negatif veya negatif olarak sınıflandırıldığı noktayı değiştirmek için bir eşik arttırılır veya azalır.

Bazen, çizilen noktaların aynı şekilde eğitilen sistem kümelerinin (değiştirici parametreler / eşikler / algoritmalar) ortalamaları olabilir (ancak farklı rasgele sayılar veya örneklemeler veya sıralamalar kullanarak). Bunlar bize belirli bir problemdeki performanslarından ziyade sistemlerin ortalama davranışlarını anlatan teorik yapılardır. Tradeoff çizelgeleri, belirli bir uygulama için doğru çalışma noktasını seçmemize yardım etmeyi amaçlamaktadır (veri kümesi ve yaklaşım) ve bu, ROC'nin ismini aldığı yerdir (Alıcı İşletim Özellikleri, alınan bilgiyi en üst düzeye çıkarmak amacıyla).

Geri Çağırma veya TPR veya TP'nin neye karşı çizilebileceğini düşünelim.

TP vs FP (PN) - tam olarak ROC arsa gibi görünüyor, sadece farklı numaralarla

TPR - FPR (ROC) - +/-, tersine çevrilirse, AUC ile FPR'ye karşı TPR değişmez.

TPR vs TNR (alt ROC) - ROC'nin ayna görüntüsü, TNR = 1-FPR (TN + FP = RN)

TP vs PP (LIFT) - X pozitif ve negatif örnekler için geçerlidir (doğrusal olmayan esneme)

TPR vs pp (alt LIFT) - farklı sayılara sahip LIFT ile aynı görünüyor

TP vs 1 / PP - LIFT'ye çok benzer (ancak doğrusal olmayan esneme ile ters çevrilmiş)

TPR vs 1 / PP - TP vs 1 / PP ile aynı görünüyor (y ekseninde farklı sayılar)

TP vs TP / PP - benzer fakat x ekseninin genişlemesi ile (TP = X -> TP = X * TP)

TPR vs TP / PP - aynı görünüyor ancak eksenlerde farklı sayılar var

Sonuncusudur Recall vs Precision!

Bu grafikler için, diğer eğrilere hükmeden herhangi bir eğrinin (daha iyi veya en azından tüm noktalarda yüksek), bu dönüşümlerden sonra hâkim olacağına dikkat edin. Egemenlik her noktada "en az yüksek" anlamına geldiğinden, yüksek eğri aynı zamanda eğriler arasındaki alanı da içerdiği için Eğri altındaki (AUC) bir alanı da "en az yüksek" olarak içerir. Tersi doğru değildir : eğriler kesişiyorsa, dokunmanın aksine baskınlık yoktur, ancak bir AUC diğerinden daha büyük olabilir.

Tüm dönüşümler ROC veya PN grafiğinin belirli bir bölümünü farklı (doğrusal olmayan) yollarla yansıtır ve / veya yakınlaştırır. Bununla birlikte, yalnızca ROC, Eğri altındaki Alanın (bir pozitifin negatif - Mann-Whitney U istatistiğinden daha yüksek olması olasılığı) ve Eğrinin üzerindeki Mesafenin (tahmin etmekten ziyade bilgili bir karar vermesi olasılığı - Youden J) iyi bir yorumuna sahiptir. Bilgiliğin ikilik formu olarak istatistik).

Genel olarak, PR tradeoff eğrisini kullanmanıza gerek yoktur ve ayrıntı gerekirse ROC eğrisine yakınlaştırma yapabilirsiniz. ROC eğrisi, köşegenin (TPR = FPR) Şans çizgisinin üzerindeki Mesafenin (DAC) Bilgiliğin veya bilgili bir kararın olasılığını temsil ettiği ve Eğri altındaki Alanın (AUC) Benzerliği temsil ettiği benzersiz bir özelliğe sahiptir. doğru ikili sıralama olasılığı. Bu sonuçlar PR eğrisi için geçerli değildir ve AUC yukarıda açıklandığı gibi daha yüksek Geri Çağırma veya TPR için bozulmuştur. PR AUC daha büyük olmak değil ROC AUC'nin daha büyük olduğunu ve bu nedenle arttırılmış olduğu anlamına gelmez (Sıralı +/- çiftlerin doğru tahmin edilebilme olasılığı - viz. ne kadar sık tahmin ettiği -veçlerin üzerinde + ves)?) ve Bilgilendirilmişlik (bilinçli bir tahmin yapma olasılığı yerine) anlamına gelmez rastgele bir tahmin - yani. Tahmin yaparken ne yaptığını ne sıklıkta bilir).

Üzgünüz - grafik yok! Herhangi biri yukarıdaki dönüşümleri göstermek için grafikler eklemek isterse, bu harika olurdu! Ben vs. ROC, LIFT, KUŞ, Kappa, F-tedbir, bilgilerinin ve yaklaşık Kağıtlarımda epeyce var ama RP vs KUŞ vs LIFT vs ROC çizimler içinde olmasına rağmen onlar oldukça bu şekilde sunulmamıştır https : //arxiv.org/pdf/1505.00401.pdf

GÜNCELLEME: Uzun süreli cevaplarda veya yorumlarda tam açıklamalar yapmaya çalışmaktan kaçınmak için, işte Makalelerimden bazıları, Precision vs Recall tradeoffs inc. F1, Bilgilendirmeyi türetmek ve sonra da ROC, Kappa, Önem, DeltaP, AUC vb. İle olan ilişkileri araştırmak. R / P / F / A yaklaşımının öğrenciye WRONG yolunu yolladığına dair deneysel kanıtlar varken, Bilgilendirici (veya uygun durumlarda Kappa veya Korelasyon) bunları DOĞRU yolla gönderdi - şimdi onlarca alan arasında. Kappa ve ROC hakkında diğer yazarların birçok iyi ve ilgili makalesi vardır, ancak Kappas'ı ROC AUC'ye karşı ROC Yüksekliğine karşı kullandığınızda (Bilgilendirme veya Youden ') s J) listelediğim 2012 makalelerinde açıklanmıştır (başkalarının önemli belgelerinin birçoğunda bunlara yer verilmiştir). 2003 Bookmaker makalesi ilk defa çok sınıflı vaka için Bilgilendirme formülü çıkarmıştır. 2013 makalesi, Bilgilendirmeyi optimize etmek için uyarlanmış Adaboost'un çok sınıflı bir versiyonunu (onu barındıran ve çalıştıran değiştirilmiş Weka'ya bağlantılar içeren) türetmiştir.

Referanslar

1998 NLP ayrıştırıcılarının değerlendirilmesinde istatistiklerin bugünkü kullanımı. J Entwisle, DMW Yetkileri - Dil İşlemede Yeni Yöntemlerle İlgili Ortak Konferansların Bildirileri: 215-224 https://dl.acm.org/citation.cfm?id=1603935 15

2003 Geri Çağırma ve Hassasiyet ve Bahis Yapıcı DMW Powers - Uluslararası Bilişsel Bilim Konferansı: 529-534 http://dspace2.flinders.edu.au/xmlui/handle/2328/27159 46

2011 Değerlendirme: hassasiyet, hatırlama ve F-ölçüsünden ROC'ye, bilgiliğe, belirginliğe ve ilişkiye DMW Powers - Makine Öğrenimi Teknolojisi Dergisi 2 (1): 37-63. http://dspace2.flinders.edu.au/xmlui/handle/2328/27165 1749 tarafından gösterildi

2012 Kappa ile ilgili sorun. DMW Yetkileri - Avrupa ACL'nin 13. Konferansı Bildirileri: 345-355 https://dl.acm.org/citation.cfm?id=2380859 63

2012 ROC-ConCert: ROC Tabanlı Tutarlılık ve Kesinlik Ölçümü. DMW Powers - Mühendislik ve Teknoloji Bahar Kongresi (S-CET) 2: 238-241 http://www.academia.edu/download/31939951/201203-SCET30795-ROC-ConCert-PID1124774.pdf 5

2013 ADABOOK & MULTIBOOK:: Şans Düzeltme ile Uyarlamalı Artırma. DMW Powers- ICINCO Uluslararası Kontrol, Otomasyon ve Robotik Bilişimi Konferansı http://www.academia.edu/download/31947210/201309-AdaBook-ICINCO-SCITE-Harvard-2upcor_poster.pdf

https://www.dropbox.com/s/artzz1l3vozb6c4/weka.jar (goes into Java Class Path)
https://www.dropbox.com/s/dqws9ixew3egraj/wekagui   (GUI start script for Unix)
https://www.dropbox.com/s/4j3fwx997kq2xcq/wekagui.bat  (GUI shortcut on Windows)

4 alıntı

— David MW Powers
kaynak

> "eğrinin altındaki alan, Benzerliği veya doğru çift sıralı sıralama olasılığını temsil eder" Sanırım, tam olarak aynı fikirde olmadığımız yer - ROC sadece arsada sıralama kalitesini gösteriyor . Bununla birlikte, AUC ile PR, hangi sıralamanın tercih edilip edilmeyeceğini hemen söyleyen tek bir sayıdır (yani, bu sonuç I sonucuna göre tercih edilir). AUC ROC bu özelliğe sahip değildir.

— 11'de

Fnl sonuçları, tanımlandığında, bir eğrinin ROC'de baskın olması durumunda PR ve bunun tersi durumunda olduğu anlamına gelir ve bu da her ikisinde de daha yüksek bir alana sahip olduğu ve dolayısıyla ROC ve PR AUC arasında niteliksel bir fark olmadığı anlamına gelir. Benzerlik (Mann-Whitney U) ile ilgili alıntı, ROC'den bağımsız olarak önerilen, ancak daha sonra ROC AUC olarak tespit edilmiş olan olasılıkla (önemlilik testinin bir parçası) ortaya konan nicel bir sonuçtur. Benzer şekilde Bilgilendirme başlangıçta bağımsız olarak tanımlandı ve daha sonra ROC'nin çalışma noktasının yüksekliğine karşılık geldiği kanıtlandı. PR böyle bir sonuç vermedi.

— David MW

Daha önce de söylediğim gibi, bu sadece egemenlik koşulları altında bir ölçeklendirme meselesidir ("çok daha büyük" çünkü ayrıntılı olarak açıkladığım kadarıyla büyük bir sayı ile çarpılır), fakat egemenlik olmayan koşullar altında AUC PR yanıltıcıdır ve AUC ROC budur. Bu, uygun bir yorumlamaya (Mann-Whitney U ya da Benzerliği) sahip, tek bir çalışma noktası olan Gini'ye (ya da ölçeklendirmeden sonra eşit olarak Youden'in J ya da Bilgiliğine) sahip.

— David MW

Basitlik için tek çalışma noktası (SOC) AUC'yi göz önüne alırsak, Gini Katsayısı = AUC = (TP / RP + TN / RN) / 2 ve Bilgilendirme = Youden J = TP / RP + TN / RN - 1 = Hassasiyet + Spesifiklik -1 = TPR + TNF -1 = Geri Çağırma + Ters Geri Çağırma - 1, vb. Eğer RN ve TN, TN >> FP ile sonsuzluğa giderse, TN / RN -> 1 olur ve iptal eder. Bilgilendirme = Alıntıladığınız durumlarda hatırlayın. Bunun yerine dev sınıf RP ve TP >> FN ise, TP / RP -> 1 ve Bilgilendirme = Ters Çağırma. Ref bakın.

— David MW,

Bu çok faydalı bir cevap David Powers. Ancak, cehaletimi bağışlayın, 'Genellikle, PR tradeoff eğrisini kullanmaya gerek yoktur ve ayrıntı gerekiyorsa ROC eğrisine yakınlaşabilirsiniz.' Derken, bunu tam olarak nasıl yapabilirim ve daha fazlasını verebilirim ne demek istediğin hakkında detay? Bu, bir şekilde çok dengesiz bir durumda ROC eğrisi kullanabileceğim anlamına mı geliyor? 'FPR veya TPR'ye daha yüksek ağırlık vermek, daha büyük sonuç farkları olan mükemmel bir AUC ROC puanı üretecektir!' Bunu ROC ile nasıl yaparım?

— Christopher John