Predicted
class
Cat Dog Rabbit
Actual class
Cat 5 3 0
Dog 2 3 1
Rabbit 0 2 11
Hassaslığı ve hatırlamayı nasıl hesaplayabilirim? F1 puanını hesaplamak kolaylaşır. Normal karışıklık matrisi 2 x 2 boyutudur. Ancak, 3 x 3 olduğunda hassaslığı ve hatırlamayı nasıl hesaplayacağımı bilmiyorum.
Yanıtlar:
Kesinlik (aka pozitif öngörücü değer PPV) ve hatırlama (aka hassasiyet) tanımlarını yaparsanız, bunların diğer sınıflardan bağımsız olarak bir sınıfla ilişkili olduğunu görürsünüz :
Geri çağırma veya senstevensite , gerçekten c sınıfına ait olan tüm vakalar arasında doğru olarak c sınıfına ait olarak tanımlanan vakaların oranıdır .
(Gerçekten " c " ye ait bir vakamız olduğu düşünüldüğünde , bunu doğru tahmin etme olasılığı nedir?)
Kesin veya pozitif öngörücü değer PPV , sınıflandırıcının sınıf c'ye ait olduğunu iddia ettiği tüm durumlar arasında doğru olarak c sınıfına ait olarak tanımlanan vakaların oranıdır .
Başka bir deyişle, c sınıfına ait olduğu tahmin edilen vakalardan hangisi gerçekten c sınıfına aittir ? (" C " tahmini dikkate alındığında, doğru olma olasılığı nedir?)
negatif öngörü değeri NBD Bu gibi durumlarda tahmin değil sınıfı ait c gerçekten sınıf aittir kalmayan bölüm, c ? (" C değil" öngörüleri dikkate alındığında, doğru olma olasılığı nedir?)
Böylece sınıflarınızın her biri için kesinlik ve hatırlama hesaplayabilirsiniz. Çok sınıflı karışıklık tabloları için, diyagonal öğeler sırasıyla satır ve sütun toplamlarına bölünür:
Verileri zorunlu seçimlere (sınıflandırma) indirgeyerek ve "yakın arama" olup olmadığını kaydetmeyerek, garip bir fayda / kayıp / maliyet işlevini gizlice üstlenmenin ve keyfi eşikleri kullanmanın yanı sıra minimum bilgi minimum hassasiyetli istatistiksel tahminler elde edersiniz. . Zorunlu seçimleri değil, sınıf üyeliği olasılıklarını içeren maksimum bilgileri kullanmak çok daha iyi olurdu.
En kolay yol, confusion_matrix'i hiç kullanmamaktır, classification_report () kullanın, size ihtiyacınız olan her şeyi verecektir, şerefe ...
Düzenleme:
Bu confusion_matrix () biçimidir:
[[TP, FN]
[FP, TN]]
Ve sınıflandırma raporu tüm bunları verir
Sadece sonucu istiyorsanız, tavsiyem araçları çok fazla düşünmemek ve emrinizde olan araçları kullanmak olacaktır. Python'da şu şekilde yapabilirsiniz;
import pandas as pd
from sklearn.metrics import classification_report
results = pd.DataFrame(
[[1, 1],
[1, 2],
[1, 3],
[2, 1],
[2, 2],
[2, 3],
[3, 1],
[3, 2],
[3, 3]], columns=['Expected', 'Predicted'])
print(results)
print()
print(classification_report(results['Expected'], results['Predicted']))
Aşağıdaki çıktıyı almak için
Expected Predicted
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
6 3 1
7 3 2
8 3 3
precision recall f1-score support
1 0.33 0.33 0.33 3
2 0.33 0.33 0.33 3
3 0.33 0.33 0.33 3
avg / total 0.33 0.33 0.33 9
Aşağıda, sınıf etiketlerimizin A, B ve C olduğunu varsayarak çok sınıflı bir karışıklık matrisi örneği verilmiştir.
A / P A B C Toplam
A 10 3 4 17
B 2 12 6 20
C 6 3 9 18
Toplam 18 18 19 55
Şimdi Hassasiyet ve Geri Çağırma için üç değer hesaplıyoruz ve onlara Pa, Pb ve Pc diyoruz; ve benzer şekilde Ra, Rb, Rc.
Kesinlik = TP / (TP + FP) biliyoruz, bu yüzden Pa gerçek pozitif A için öngörülen Gerçek A olacaktır, yani, B veya C olsun, bu sütundaki iki hücrenin geri kalanı, 10 olarak Yanlış Olsun. Yani
Pa = 10/18 = 0.55 Ra = 10/17 = 0.59
Şimdi B sınıfı için hassasiyet ve hatırlama Pb ve Rb'dir. B sınıfı için, gerçek pozitif B olarak tahmin edilen gerçek B'dir, yani 12 değerini içeren hücre ve bu sütundaki iki hücrenin geri kalanı Yanlış Pozitif yapar, yani
Pb = 12/18 = 0,67 Rb = 12/20 = 0,6
Benzer şekilde Pc = 9/19 = 0.47 Rc = 9/18 = 0.5
Sınıflandırıcının genel performansı ortalama Hassasiyet ve Ortalama Hatırlama ile belirlenecektir. Bunun için her sınıf için kesinlik değerini, o sınıfın gerçek örnek sayısı ile çarpar, sonra ekler ve toplam örnek sayısına böleriz. Sevmek ,
Ort. Hassasiyet = (0,55 * 17 + 0,67 * 20 + 0,47 * 18) / 55 = 31,21 / 55 = 0,57 Ort. Hatırlama = (0,59 * 17 + 0,6 * 20 + 0,5 * 18) / 55 = 31,03 / 55 = 0,56
Umut ediyorum bu yardım eder