Son zamanlarda olasılık sınıflandırıcıları için uygun puanlama kurallarını öğreniyorum. Bu web sitesindeki bazı konular, doğruluğun uygun olmayan bir puanlama kuralı olduğunu ve lojistik regresyon gibi olasılıklı bir model tarafından üretilen tahminlerin kalitesini değerlendirmek için kullanılmaması gerektiğini vurgulamaktadır.

Ancak, okuduğum oldukça az sayıda akademik makale, bir ikili sınıflandırma ortamında (katı olmayan) uygun puanlama kuralı örneği olarak yanlış sınıflandırma kaybı vermiştir. Bulabildiğim en açık açıklama, bu makalede , sayfa 7'nin altındaydı. Anladığım kadarıyla, yanlış sınıflandırma kaybını en aza indirmek doğruluğu en üst düzeye çıkarmakla eşdeğerdir ve kağıttaki denklemler sezgisel olarak anlamlıdır.

Örneğin: makalenin gösterimini kullanarak, ilgili sınıfın gerçek koşullu olasılığı (bazı özellik vektörü x verildiğinde ) η = 0.7 ise, q > 0.5 tahminlerinde beklenen bir kayıp R (η | q ) = 0,7 (0) + 0,3 (1) = 0,3 ve q 0,5'in beklenen 0,7 kaybı olur. Bu nedenle kayıp fonksiyonu q = η = 0.7'de minimize edilecek ve sonuç olarak uygun olacaktır; tüm gerçek koşullu olasılıklar ve tahminlerin genelleştirilmesi, oradan yeterince basit görünmektedir.$\leq$

Yukarıdaki hesaplamaların ve ifadelerin doğru olduğu varsayıldığında, benzersiz olmayan bir minimumun dezavantajları ve aynı minimum beklenen kaybı paylaşan 0.5'in üzerindeki tüm tahminler açıktır. Hala günlük skoru, Brier skoru, vb. Geleneksel alternatifler üzerinde doğruluk kullanmak için bir neden göremiyorum. yanlış - ya yanlış sınıflandırma kaybı anlayışımda ya da doğrulukla eşitlemede?

TL; DR

Doğruluk yanlış bir puanlama kuralıdır. Kullanma.

Biraz daha uzun versiyon

Aslında doğruluk bir puanlama kuralı bile değildir. Bu yüzden (kesinlikle) uygun olup olmadığını sormak bir kategori hatasıdır. Söyleyebileceğimiz en fazla şey, ek varsayımlar altında doğruluğun uygunsuz, süreksiz ve yanıltıcı olan bir puanlama kuralıyla tutarlı olduğudur. (Kullanma.)

Karışıklık

Karışıklıklarınız, alıntıladığınız kağıda göre yanlış sınıflandırma kaybının da bir puanlama kuralı olmaması gerçeğinden kaynaklanmaktadır.

Ayrıntılar: Puanlama kuralları ve sınıflandırma değerlendirmeleri

Terminolojiyi düzeltelim. Bir ikili sonuç ilgilenen ve bir olasılık tahmini sahip q = P ( Y = 1 ) ∈ ( 0 , 1 ) . Bunu biliyoruz P ( Y = 1 ) = η > 0.5 , ama örnek q ya da bilmiyor olabilir.$y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$

Bir puanlama kuralı bir olasılık tahmini alan bir eşleme q ve bir sonuç y , kaybına$\widehat{q}$$y$

olanuygunbu göre beklenti en iyi olup olmadığını q = η . (Genellikle "minimize" anlamına gelen "Optimize", ancak bazı yazarlar çevirme işaretler ve bir puanlama kuralı maksimize etmek deneyin.) S olansıkı uyguno beklenti eniyilendirilmiş isesadecetarafından q = η .$s$$\widehat{q}=\eta$$s$$\widehat{q}=\eta$

Normal olarak, değerlendirecek birçok tahminler ile q i ve sonuçlarını karşılık gelen y ı ve ortalama Bu beklenti tahmin etmek.$s$$\widehat{q}_i$$y_i$

Şimdi, doğruluk nedir? Doğruluk, bir argüman olarak olasılıklı bir tahminde bulunmaz. Bu sınıflandırma alır y ∈ { 0 , 1 }$\widehat{y}\in\{0,1\}$ ve bir sonuç:

Bu nedenle, doğruluk bir puanlama kuralı değildir . Bu bir sınıflandırma değerlendirmesidir. (Bu yeni icat ettiğim bir terimdir, literatürde aramayın.)

Şimdi, tabii ki bizim gibi bir olasılık tahmini alabilir q ve bir sınıflandırma çevirmek y . Ancak bunu yapmak için, yukarıda belirtilen ek varsayımlara ihtiyacımız olacak. Örneğin, bir eşik θ kullanmak ve sınıflandırmak çok yaygındır :$\widehat{q}$$\widehat{y}$$\theta$

$\theta=0.5$$\widehat{q}_i$$y_i$

$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

$\widehat{y}$$\widehat{q}$

$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

$\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$$\widehat{q}\geq\theta$

Bu nedenle, doğruluk veya yanlış sınıflandırma kaybı yanıltıcı olabilir.

Buna ek olarak, doğruluk ve yanlış sınıflandırma kaybı olan sonuçların IID edilmez daha karmaşık durumlarda ek varsayımlar altında uygunsuz. Frank Harrell, onun blog yazısı içinde Sınıflandırma Doğruluğu ve Diğer süreksiz Yanlış Doğruluk Puanlama Kuralları Neden Olduğu Hasarın onlar olduğundan, bir misspecified modeline yol açacaktır doğruluğu veya yanlış sınıflandırma kaybı kullanarak bir kitabında bir örnek değinir değil doğru koşullu yordayacak tarafından optimize olasılık.

$\theta$

Daha fazla bilgi için Neden sınıflandırma modellerini değerlendirmede doğruluk en iyi ölçü değildir? .

Alt çizgi

Doğruluk kullanmayın. Ne de yanlış sınıflandırma kaybı.

Nitpick: "katı" ile "katı"

"Katı" doğru puanlama kurallarından mı yoksa "katı" doğru puanlama kurallarından mı bahsetmeliyiz? "Katı", "puanlama kuralı" nı değil, "uygun" u değiştirir. ("Uygun puanlama kuralları" ve "kesinlikle doğru puanlama kuralları" vardır, ancak "katı puanlama kuralları" yoktur.) Bu nedenle, "kesinlikle" bir sıfat değil, bir sıfat değil ve "kesinlikle" kullanılmalıdır. Literatürde daha yaygın olduğu gibi, örneğin Tilmann Gneiting'in makaleleri.