AUC'nin standart doğruluk vs avantajları

Eğri altındaki alana (AUC) bakmaya başlamıştım ve faydası hakkında biraz kafam karıştı. AUC, bana ilk açıklandığında büyük bir performans ölçüsü gibi görünüyordu, ancak araştırmamda, yüksek standart doğruluk ölçümleri ve düşük AUC ile 'şanslı' modelleri yakalamanın en iyi yol olduğunu, avantajının çoğunlukla marjinal olduğunu iddia ettim. .

Öyleyse, modelleri doğrulamak için AUC'ye güvenmekten kaçınmalı mıyım yoksa bir kombinasyon en iyisi midir? Yardımların için teşekkür ederim.

Gerçekten harika bir soru ve çoğu insanın sezgisel bir seviyede anlamadığı bir soru. AUCAslında, çeşitli nedenlerden dolayı ikili sınıflandırma için doğruluk yerine sıklıkla tercih edilir. İlk önce tam olarak ne hakkında konuşalım AUC. Dürüst olmak gerekirse, en yaygın kullanılan etkinlik ölçütlerinden biri olmak için, tam olarak nasıl AUCçalıştığını anlamak şaşırtıcı derecede zor .

AUCaçılımı Area Under the Curvesormak hangi eğri? Eh, bu ROCeğri olurdu . aslında biraz sezgisel olmayan Alıcı Çalışma KarakteristiğiROC anlamına gelir . Asıl amacı, çok eğrilmiş bir örneklem dağılımınızın olduğu ve tek bir sınıfa giymek istemediğiniz durumlarla ilgilenmektir.AUC

Harika bir örnek spam tespitinde. Genel olarak, spam veri setleri jambon veya spam olmayanlara karşı güçlü bir şekilde önyargılıdır. Veri setiniz% 90 jambon ise, her bir e-postanın jambon olduğunu söyleyerek oldukça iyi bir doğruluk elde edersiniz, bu açıkça ideal olmayan bir sınıflandırıcıyı gösterir. Bizim için biraz daha yararlı olan birkaç ölçümle başlayalım, özellikle doğru pozitif oran ( TPR) ve yanlış pozitif oran ( FPR):

Şimdi bu grafikte, TPRözellikle pozitif pozitifin tüm pozitiflere FPRoranı ve sahte pozitiflerin tüm negatiflere oranıdır. (Bunun sadece ikili sınıflandırma için olduğunu aklınızda bulundurun.) Bunun gibi bir grafikte, tüm 0'ların veya tüm 1'lerin bir tahmininin sırasıyla (0,0)ve sonuçlarına yol açacağını bulmak oldukça basit olmalıdır (1,1). Bu çizgilerden bir çizgi çekerseniz, şöyle bir şey elde edersiniz:

Temelde köşegen bir çizgiye benzeyen (öyle) ve bazı kolay geometrilerde AUCböyle bir modelin olacağını göreceksiniz 0.5(yükseklik ve taban her ikisi de 1). Benzer şekilde, 0 ve 1'lerin rastgele bir ürün yelpazesini tahmin ederseniz,% 90% 1 diyelim (0.9, 0.9), yine o çapraz çizgi boyunca düşen noktayı elde edebilirsiniz .

Şimdi ilginç kısım geliyor. Ya sadece 0 ve 1'leri öngörmemiş olsaydık? Ya bunun yerine, teorik olarak, her sonucun 1 olduğu ve altında her sonucun 0 olduğu bir kesme ayarlayacağımızı söylemek istedik, bu, aşırı uçlarda, bulunduğunuz orijinal durumu elde ettiğiniz anlamına gelir. tüm 0'ları ve tüm 1'leri (sırasıyla 0 ve 1'lik bir kesimde), ancak aynı zamanda 1x1sizi içeren grafiğe giren bir dizi ara durumu var ROC. Uygulamada şöyle bir şey elde edersiniz:

Temel olarak, AUCaşırı doğruluk yaptığınız zaman gerçekten elde ettiğiniz şey insanları temsili olan ancak ayrımcı olmayan modellere gidenleri caydıracak bir şeydir; doğruluk için garanti edilmeyen rastgele şansın üzerindedir.

AUC ve doğruluk oldukça farklı şeylerdir. AUC, dahili olarak bir karar eşiği nosyonuna sahip olan ikili sınıflandırıcılar için geçerlidir. Örneğin, lojistik regresyon, lojistik fonksiyonunun bir eşikten daha büyük / küçük olmasına, genellikle varsayılan olarak 0,5 olmasına bağlı olarak pozitif / negatif olarak döner. Eşiğini seçtiğinizde, bir sınıflandırıcı var. Birini seçmek zorundasın.

Belirli bir eşik seçimi için, tüm veri setindeki gerçek pozitiflerin ve negatiflerin oranı olan doğruluğu hesaplayabilirsiniz.

AUC, gerçek pozitif oranın (hatırlama) ve yanlış pozitif oranın nasıl tersine çevrildiğini ölçmektedir, bu nedenle bu anlamda zaten başka bir şeyi ölçmektedir. Daha da önemlisi, AUC eşiğin bir işlevi değildir. Eşik değeri tüm olası değerlere göre değiştiğinden, sınıflandırıcının bir değerlendirmesidir. Bir anlamda, daha geniş bir metriktir, sınıflandırıcının ürettiği ve daha sonra bir eşikle karşılaştırdığı iç değerin kalitesini test eder. Belirli bir eşik seçiminin kalitesini test etmez.

AUC'nin farklı bir yorumu vardır ve bu, aynı zamanda, rastlantısal olarak seçilmiş bir pozitif örneğin, sınıflandırıcının örnekler için içsel değerine göre, rastgele seçilen bir negatif örneğin üzerinde sıralanma olasılığının da olmasıdır.

AUC, yalnızca örnekler üzerinde sıralama üreten bir algoritmaya sahip olsanız bile hesaplanabilir. AUC, yalnızca bir kara kutu sınıflandırıcıya sahipseniz ve dahili bir eşik değerine sahip değilseniz, hesaplanamaz. Bunlar genellikle ikisinden hangisinin elinizin altında bir sorun için uygun olduğunu belirler.

AUC, daha az durumda uygulanabilir olmasına rağmen, daha kapsamlı bir önlem olduğunu düşünüyorum. Kesinlikle doğruluktan daha iyi değil; Bu farklı. Kısmen gerçek pozitiflere, yanlış negatiflere vb. Önem verip vermediğinize bağlı.

F-ölçüsü, bir sınıflandırıcı ve eşik ayarının bir işlevi olduğu anlamında doğruluk gibidir. Ancak, yukarıda belirtilenlerle aynı olmayan hassaslığı hatırlama (gerçek pozitif oran) olarak ölçer.

Bir performans ölçüsünü nasıl seçmeniz gerektiğine değinmek istiyorum. Ondan önce, belirli doğruluk ve AUC sorularına atıfta bulunacağım.

Daha önce cevaplandığı gibi, dengeleyici veri setinde bir sınıflandırıcı olarak çalıştırılan çoğunluğun kullanılması, onu yanıltıcı bir önlem haline getirecek olan yüksek hassasiyete yol açacaktır. AUC, iyi ve kötü için güven eşiğinin üzerinde toplanır. İyilik için, tüm güven seviyesi için bir ağırlık sonucu alırsınız. Kötü olan, genellikle yalnızca gerçekten kullanacağınız güven düzeyini umursamanız ve gerisinin alakasız olmasıdır.

Bununla birlikte, bir model için uygun bir performans ölçüsü seçmeyi de belirtmek isterim. Bir modeli hedefine göre karşılaştırmalısınız. Bir modelin amacı, bir iş makinesi öğrenme veya istatistik değil, iş alanı ve ihtiyaçları ile ilgilidir.

Altın için kazı yapıyorsanız (gerçek bir pozitifin çok büyük bir faydasının olduğu, yanlış pozitifin yüksek maliyetinin yüksek olmadığı bir senaryo), o zaman hatırlama iyi bir önlemdir.

İnsanlar üzerinde karmaşık bir tıbbi işlem yapıp yapmamaya karar vermeye çalışıyorsanız (yanlış pozitifin yüksek maliyeti, umarım düşük yanlış negatifin maliyeti), hassasiyet kullanmanız gereken ölçüdür.

Kullanabileceğiniz birçok önlem var. Bunları çeşitli şekillerde de birleştirebilirsiniz.

Bununla birlikte, evrensel “en iyi” önlem yoktur. İhtiyaçlarınız için en iyi model var, onu en üst düzeye çıkartan fayda en üst düzeye çıkacak.