Bir örnekle başlayalım. Diyelim ki Alice bir pisttir ve yaklaşan bir spor etkinliğinde 200 metrelik bir sprintte takımı temsil etmek için bir sporcu seçmek ister. Doğal olarak en hızlı koşucuyu seçmek istiyor.
- Bir kesinlikle doğru puanlama kuralı 200m mesafe üzerinden takımın en hızlı koşucu aday olacaktır. Bu, Alice'in bu durumda koçunu tam olarak ne istediğini maksimuma çıkarır. Beklenen en hızlı performansa sahip sporcu seçilir - bu adil bir ayrımcı testtir.
- Bir doğru puanlama kuralı mümkün çalıştırmak 200m hızlı ama zaman saniyenin yarısına yakın bir şekilde yuvarlanır bir atlet almak olacaktır. En iyi atlet ve potansiyel olarak diğer bazı sporcular da bu testi geçebilir. Bu şekilde seçilen tüm sporcular oldukça rekabetçidir, ancak açıkça bu mükemmel bir ayrımcı hız testi değildir.
- Bir yarı doğru puanlama kuralı 22 saniye örneğin rekabetçi bir zaman eşiğinin altında mümkün koşmak 200m, bir sporcu almak olacaktır. Daha önce olduğu gibi, en iyi atlet ve diğer bazı sporcular da bu testi geçebilirler. Benzer şekilde, bu şekilde seçilen tüm sporcular oldukça rekabetçi olabilirler, ancak açıkça sadece bu mükemmel bir ayrımcılık testi değildir, aynı zamanda korkunç derecede kötü de olabilir (eğer çok yumuşak veya çok katı bir zaman seçersek). Bunun tamamen yanlış olmadığını unutmayın.
- Uygun olmayan bir puanlama kuralı , en güçlü bacaklara sahip olan sporcuyu, örneğin en çok ağırlığa sahip olanları seçmek olacaktır. Elbette, iyi bir sprinter muhtemelen çok güçlü bacaklara sahiptir, ancak bu test, ağırlık kaldırma ekibinden bazı adamların burada mükemmel olacağı anlamına gelir. Açıkçası 200 metrelik bir yarışta ağırlık kaldırıcı felaket olurdu!
Biraz önemsiz olsa da, yukarıdaki örnek puanlama kurallarının kullanımı ile neler olduğunu göstermektedir. Alice beklenen sprint zamanını tahmin ediyordu. Sınıflandırma bağlamında, olasılıksal bir sınıflandırıcının hatasını minimize eden olasılıkları tahmin ediyoruz.
- Bir kesinlikle doğru puanlama kuralı olabildiğince gerçek olasılıklara yakın olarak olduklarında, Brier puanı gibi garantiler iyi skoru sadece elde edilecektir.
- Bir doğru puanlama kuralı , sürekli sıralanmış olasılığı skoru (KBAS) gibi iyi skoru yalnızca, Tahminler doğru olasılıklar en yakın olan bir sınıflandırıcı tarafından elde edileceği garantisini değildir. Diğer aday sınıflandırıcılar, optimum sınıflandırıcıya uyan CRPS puanlarına ulaşabilir.
- Bir yarı doğru puanlama kuralı , AUC-ROC gibi, en iyi performans olan Tahminler doğru olasılıklar en yakın olan bir sınıflandırıcı tarafından elde edileceğini değil garanti yapar kalmaz, ama aynı zamanda geliştirmek için (potansiyel olarak) mümkündür tahmin edilen olasılıkları gerçek değerlerinden uzaklaştırarak AUC-ROC değerleri. Bununla birlikte, belirli koşullar altında (örneğin, sınıf dağılımı AUC-ROC durumunda bilinen bir a priori'dir) bu kurallar uygun bir puanlama kuralına yaklaşabilir. Byrne (2016) " Olasılık tahminlerini değerlendirmek için ampirik AUC kullanımı üzerine bir not " AUC-ROC ile ilgili bazı ilginç noktalar ortaya koymaktadır .
- Bir yanlış puanlama kuralı , Doğruluk gibi, gerçek olasılıklar mümkün olduğunca yakın olarak olasılıkları tahmin eden özgün bir görev için hiçbir bağlantısı teklifler biraz.
Gördüğümüz gibi yarı uygun puanlama kuralı mükemmel değil ama aynı zamanda açık bir felaket değil. Aslında tahmin sırasında oldukça yararlı olabilir! Çağdaş Özgenç'in burada uygunsuz / yarı uygun bir kuralla çalışmanın kesinlikle uygun bir kurala tercih edilebilir olduğu harika bir örneği var . Genel olarak, yarı uygun skorlama kuralı terimi çok yaygın değildir. Yine de yardımcı olabilecek uygunsuz kurallarla ilişkilidir (örneğin olasılıksal sınıflandırmada AUC-ROC veya MAE).
Son olarak, önemli bir şeye dikkat edin. Sprint güçlü bacaklarla ilişkili olduğundan, Doğruluk ile doğru olasılıksal sınıflandırma da geçerlidir. İyi bir sprinter'ın bacaklarının zayıf olması olası değildir ve benzer şekilde iyi bir sınıflandırıcının kötü Doğruluğa sahip olması olası değildir. Bununla birlikte, Doğruluk'u iyi sınıflandırıcı performansı ile eşitlemek bacak gücünü iyi sprint performansı ile eşitlemeye benzer. Tamamen asılsız değil ama saçma sonuçlara yol açması çok makul.