Bu, dolaylı olarak burada defalarca sorulan genel bir sorudur, ancak tek bir yetkili cevaptan yoksundur. Referans için bu konuda ayrıntılı bir cevap almak çok iyi olurdu.

Tüm sınıflandırmalar arasında doğru sınıflandırmaların oranı olan doğruluk , çok basit ve “sezgisel” bir önlemdir, ancak dengesiz veriler için zayıf bir ölçü olabilir . Sezgimiz neden bizi burada yanlış yönlendiriyor ve bu önlemle ilgili başka sorunlar var mı?

Diğer cevapların çoğu dengesiz sınıflara odaklanmaktadır. Evet, bu önemli. Ancak, doğruluğun dengeli sınıflarda bile sorunlu olduğunu savunuyorum.

Frank Harrell bunu blogunda şöyle yazmıştır: Sınıflandırma Doğruluğu ve Diğer Süreksiz Uygunsuz Doğruluk Puanlama Kurallarının Sebep Olduğu Tahmin ve Zarar .

Temel olarak, argümanı, alıştırmanızın istatistiksel bileşeninin, yeni örneğinizin her bir sınıfı için bir olasılık ortaya çıkardığınızda sona ermesidir. Bu öngörülen olasılıkları 0-1 sınıflandırmasına eşlemek, ötesinde yeni bir gözlemi 1'e 0 olarak sınıflandırdığınız bir eşik seçerek, istatistiklerin bir parçası değildir. . Bu bir parçası olan karar bileşeni. Ve burada, modelinizin olasılıksal çıktısına ihtiyacınız var - ama aynı zamanda gibi hususlar:$(\hat{p}, 1-\hat{p})$

• Yeni bir gözlemi sınıf 1'e karşı 0 olarak kabul etmeye karar vermenin sonuçları nelerdir? Daha sonra herkese ucuz bir pazarlama postası gönderir miyim? Yoksa büyük yan etkileri olan istilacı bir kanser tedavisi mi uyguluyorum?
• "Doğru" 0'ı 1 olarak kabul etmenin sonuçları nedir ve tam tersi? Bir müşteriyi işaretler miyim? Birisini gereksiz tıbbi tedaviye maruz bırakmak?
• "Sınıflarım" gerçekten ayrık mı? Yoksa klinik eşiklerin gerçekte sadece bilişsel kısayollar olduğu bir süreklilik (örneğin, kan basıncı) var mı? Öyleyse, şu anda "sınıflandırdığım" durumun eşiğin ne kadar ötesinde olduğu?
• Ya da 1. sınıf olma olasılığı düşük ama olumlu bir olasılık aslında "daha fazla veri almak", "başka bir test çalıştırmak" anlamına mı geliyor?

Kararınızın sonuçlarına bağlı olarak, karar vermek için farklı bir eşik kullanacaksınız. Eğer eylem invaziv cerrahi ise, hastanın iki şeyden şikayetçi olarak sınıflandırılması için, eylemin iki aspirin önereceğinden çok daha yüksek bir olasılık gerekir. Veya sadece iki sınıf olmasına rağmen (hastaya karşı sağlıklı) üç farklı karar almanız bile mümkün: "eve gidin ve endişelenmeyin" - "başka bir sınav yapın çünkü elimizdeki sonuç yetersiz" vs. "hemen çalışın" .

Tahmini olasılıkları değerlendirmek doğru bir şekilde olduğu değil , bir eşik değeri ile karşılaştırmak için bunları eşlemek için eşiğe göre ve daha sonra transforme edilmiş değerlendirmek sınıflandırma. Bunun yerine, uygun puanlama kuralları kullanılmalıdır . Bunlar, öngörülen olasılıkları haritalayan kayıp fonksiyonlarıdır ve gözlemlenen sonuçları, gerçek olasılıklar beklentisiyle en aza indirilen zarar değerlerine eşittir . Buradaki fikir, puanlama kuralı beklentisinin bir tahmini olarak, birden fazla (en iyi: çok sayıda) gözlemlenen sonuç ve buna karşılık gelen öngörülen sınıf üyeliği olasılıklarında değerlendirilen puanlama kuralı üzerinden ortalamayı almamızdır.$(\hat{p}, 1-\hat{p})$( 0 , 1 ) ( 0 , 1 ) ( s , 1 - p )$(0,1)$$(0,1)$$(p,1-p)$

Burada "uygun" un kesin olarak tanımlanmış bir anlamı olduğuna dikkat edin - uygun puanlama kuralları ve son olarak kesin puanlama kuralları gibi uygun olmayan puanlama kuralları vardır . Bu gibi puanlama kuralları , tahmin edici yoğunlukların ve sonuçların kayıp fonksiyonlarıdır. Doğru puanlama kuralları , öngörü yoğunluğu gerçek yoğunluk ise, beklentide en aza indirilen puanlama kurallarıdır . Kesinlikle doğru puanlama kuralları vardır kurallarını skorlanmasıdır sadece öngörü yoğunluk gerçek yoğunluk ise beklenti içinde minimize.

As Frank Harrell notları , doğruluk uygunsuz bir puanlama kuraldır. (Daha doğrusu, doğruluk hiç hatta bir puanlama kural değil : bkz cevabımı için Is doğruluk bir ikili sınıflandırma ortamda uygunsuz puanlama kuralı? ) Hiç hiç yordayıcılarını ve sadece bir flip varsa, bu, örneğin, görülebilir olasılıkları olan haksız bir madeni para . Her şeyi birinci sınıf olarak sınıflandırırsak ve herhangi bir sonucun ikinci sınıfta olma olasılığını% 40 göz ardı edersek doğruluk en üst seviyeye çıkarılır. (Burada, dengeli sınıflar için bile doğruluğun sorunlu olduğunu görüyoruz.) Uygun puanlama kuralları , tahminini tercih edecektir .$(0.6,0.4)$( 0.6 , 0.4 ) ( 1 , 0 )$(0.6,0.4)$$(1,0)$ bir beklenti içinde. Özellikle, eşikte doğruluk süreksizdir: eşiği küçük bir küçük uca hareket ettirmek bir (veya çok) tahmin sınıfını değiştirebilir ve bütün doğruluğu ayrı bir miktar değiştirebilir. Bu çok az mantıklı.

Frank'in yukarıdan bağlantılı iki blog yazısında ve Frank Harrell Regresyon Modelleme Stratejileri'nin 10. Bölümünde daha fazla bilgi bulunabilir .

(Bu utanmadan benim önceki bir cevabımdan toplandı .)

---

DÜZENLE. Benim cevabım için yanlış bir sonuca yol açacaktır sonuç ölçümü olarak doğruluğunu kullanılarak Örnek maksimize doğruluğu yanlış kararlara yol açabilir bir umutla açıklayıcı örnek verir hatta dengeli sınıflar için .

Doğruluk kullandığımızda, yanlış pozitiflere ve yanlış negatiflere eşit maliyet atarız. Bu veri seti dengesiz olduğunda - bir sınıftaki örneklerin% 99'unun ve diğerinin yalnızca% 1'inin olduğunu söyleyin - maliyeti düşürmenin harika bir yolu var. Her vakanın çoğunluk sınıfına ait olduğunu tahmin edin,% 99 doğruluk elde edin ve erken eve gidin.

Her hataya verdiğimiz asıl maliyet eşit olmadığı zaman problem başlar. Nadir görülen ancak ölümcül bir hastalıkla baş edersek, hasta bir kişinin hastalığını teşhis etmeme maliyeti, sağlıklı bir kişiyi daha fazla teste gönderme maliyetinden çok daha yüksektir.

Genel olarak, genel en iyi önlem yoktur. En iyi önlem ihtiyaçlarınızdan elde edilir. Bir anlamda, bir makine öğrenme sorusu değil, bir iş sorusu. İki kişinin aynı veri kümesini kullanması, ancak farklı hedefler nedeniyle farklı ölçümler seçmesi yaygındır.

Doğruluk harika bir ölçümdür. Aslında, çoğu ölçüm harika ve birçok ölçümü değerlendirmeyi seviyorum. Ancak, bir noktada A veya B modelini kullanma konusunda karar vermeniz gerekir. Orada ihtiyacınıza en iyi şekilde uyan tek bir ölçüm kullanmanız gerekir.

Ekstra kredi için, analizden önce bu ölçümü seçin, böylece karar verirken dikkatiniz dağılmayacak.

Doğruluk ile sorun

Standart doğruluk, doğru sınıflandırmaların, yapılan sınıflandırma sayısına oranı olarak tanımlanmaktadır.

$$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$$

Bu nedenle, tüm sınıflar üzerinde genel bir önlemdir ve kısaca göreceğimiz gibi, gerçek bir yararlı testten başka bir kehanete anlatmanın iyi bir önlem olmadığını görürüz. Bir kehanet, her örnek için rastgele bir tahmin döndüren bir sınıflandırma işlevidir. Aynı şekilde, sınıflandırma işlevimizin sınıflandırma performansını da derecelendirmek istiyoruz. Doğruluk \ textit {olabilir}, eğer sınıf başına aynı miktarda örneğe sahipsek, ancak dengesiz bir örneklem doğruluğuna sahipsek, hiç de faydalı olmaz. Daha da ötesi, bir test yüksek bir kesinliğe sahip olabilir, ancak aslında daha düşük bir kesinliğe sahip bir testten daha kötü bir performans sergileyebilir.

$\mathcal{A}$$\mathcal{B}$$\mathcal{C}$$0.9$

$$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$$

$classify$

$$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$$

$0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$$\mathcal{A}$$classify$

Sınıf Başına Doğruluk

$accuracy := \text{correct}/(\text{correct} + \text{incorrect})$$\mathcal{A}$$1.00$$\mathcal{A}$$0.33$$1.00$$0.00$$>0.5$$\mathcal{A}$$\mathcal{A}$$\mathcal{B}$$\mathcal{A}$

Hassasiyet ve özgüllük

Tıbbi testlerde duyarlılık, hastalığa sahip olduğu doğru tespit edilen kişiler ile hastalığa sahip olanların miktarı arasındaki oran olarak tanımlanır. Özgüllük, sağlıklı olarak doğru bir şekilde tanımlanmış insanlar ile gerçekten sağlıklı olan insanlar arasındaki oran olarak tanımlanır. Gerçekten hastalığı olan kişilerin miktarı, gerçek pozitif test sonuçlarının yanı sıra yanlış negatif test sonuçlarının miktarıdır. Aslında sağlıklı insanların miktarı gerçek negatif test sonuçlarının yanı sıra yanlış pozitif test sonuçlarının miktarıdır.

İkili Sınıflandırma

$\mathcal{P}$$\mathcal{N}$$T_{n}$$n$$F_{n}$$n$

$$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$$

$T_{\mathcal{P}}$$F_{\mathcal{N}}$$T_{\mathcal{N}}$$F_{\mathcal{P}}$$\alpha$$\beta$$\alpha$$T_{\alpha}$$\alpha$$T_{\alpha} + F_{\beta}$$\alpha$$T_{\beta}$$\alpha$$T_{\beta} + F_{\alpha}$$\alpha$$\beta$$\beta$$T_{\beta}$$\beta$$T_{\beta} + F_{\alpha}$$\beta$$T_{\alpha}$$\beta$$T_{\alpha} + F_{\beta}$

$$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$$

$sensitivity_{\alpha} = specificity_{\beta}$$specificity_{\alpha} = sensitivity_{\beta}$. Bunun anlamı, eğer sadece iki sınıfa sahipsek, sınıf başına duyarlılığa ve özgüllüğe ihtiyacımız yok demektir.

N-Ary Sınıflandırması

Sınıf başına duyarlılık ve özgüllük, yalnızca iki sınıfımız varsa kullanışsızdır, ancak bunu birden fazla sınıfa genişletebiliriz. Hassasiyet ve özgüllük şöyle tanımlanır:

$$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$$

$T_{n}$$\sum_{i}(F_{n,i})$$\sum_{i}(F_{i,n})$$n$$\sum_{i}(T_{i}) - T(n)$$n$$n$$\sum_{i}(\sum_{k}(F_{i,k}))$$n$$n$$\sum_{i}(F_{n,i})$$n$$\sum_{i}(F_{i,n})$$\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$. Özet olarak elimizde:

$$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$$

$$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$$

Güven Tanıtımı

$confidence^{\top}$$T_{n} + \sum_{i}(F_{i,n})$$n$$T_{n}$

$$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$$

$confidence^{\bot}$$n$$n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$$\sum_{i}(F_{n,i})$

$$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$$

Veri kümenizdeki dengesiz sınıflar

Kısacası: hayal edin, bir sınıfın% 99'u (elmalar diyor) ve başka bir sınıfın% 1'i veri kümenizde (muz diyor). Süper duper algoritmam, bu veri seti için şaşırtıcı bir% 99 doğruluk elde ediyor, göz atın:

return "it's an apple"

Zamanın% 99'unda haklı olacak ve bu nedenle% 99 doğruluk elde edecek. Algoritmamı satabilir miyim?

Çözüm: mutlak bir ölçü (doğruluk) kullanmayın, ancak her sınıfa göre bir ölçü birimi kullanın (orada bir sürü var, ROC AUC gibi)

DaL cevabı tam olarak bu. Yumurta satmakla ilgili çok basit bir örnekle açıklayacağım.

$2$$1$

$2$$1$

Sınıflandırıcınız hata yapmazsa, beklediğiniz maksimum geliri elde edersiniz. Mükemmel değilse, o zaman:

• $1$
• $1$

Öyleyse, sınıflandırıcınızın doğruluğu tam olarak maksimum gelire ne kadar yakın olduğunuzdur. Mükemmel bir ölçüdür.

$a$

• $a$
• $2-a$

$a=0.001$$2$$0.001$

Sınıflandırıcı, örneğin bir veritabanında ilgili belgeleri bulma ile ilgiliyse, alakasız bir belgeyi okurken "ne kadar" boşa harcanan zamanı, ilgili bir belgeyi bulmakla karşılaştırarak karşılaştırabilirsiniz.

Sınıflandırma doğruluğu, toplam tahmin sayısına bölünen doğru tahmin sayısıdır.

Doğruluk yanıltıcı olabilir. Örneğin, büyük bir sınıf dengesizliğinin olduğu bir problemde, bir model tüm tahminler için çoğunluk sınıfının değerini tahmin edebilir ve yüksek bir sınıflandırma doğruluğu elde edebilir. Bu nedenle, F1 puanı ve Brier puanı gibi ilave performans ölçütlerine ihtiyaç duyulmaktadır.

$R^2$

$R^2$

Diğerlerinin de belirttiği gibi, doğrulukla ilgili başka bir problem, başarısızlığın fiyatına dolaysız bir kayıtsızlık - yani tüm yanlış sınıflandırmaların eşit olduğu varsayımıdır. Uygulamada değildirler ve yanlış sınıflandırmanın elde edilmesinin maliyetleri yüksek oranda konuya bağlıdır ve doğruluğu en üst düzeye çıkarmak yerine belirli bir tür yanlışlığı en aza indirmeyi tercih edebilirsiniz.