Karışıklık matrisini kullanarak çok sınıflı sınıflandırma için kesinlik ve hatırlamayı nasıl hesaplarsınız?

Çok sınıflı bir problem için kesinliği nasıl hesaplayabileceğimi ve bir karmaşa matrisi kullanarak nasıl hatırlayacağımı merak ediyorum. Spesifik olarak, bir gözlem ancak en olası sınıfa / etikete atanabilir. Hesaplamak istiyorum:

• Hassas = TP / (TP + FP)
• Hatırlama = TP / (TP + FN)

Her sınıf için ve sonra mikro-ortalama F-ölçüsünü hesaplayın.

İki hipotezli bir durumda, karışıklık matrisi genellikle:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

notunuza benzer bir şey kullandığım yer:

• TP = gerçek pozitif (H1’i, gerçekte H1’i ilan ederken),
• FN = yanlış negatif (aslında H1 olduğunda, H0’yı ilan edin),
• FP = yanlış pozitif
• TN = gerçek negatif

Ham verilerden, tablodaki değerler tipik olarak test verisi üzerindeki her oluşum için sayım olacaktır. Bundan, ihtiyacınız olan miktarları hesaplayabilmelisiniz.

Düzenle

Çok sınıflı problemlerin genelleştirilmesi, karışıklık matrisinin satırları / sütunları üzerinde toplanmaktır. Matrisin yukarıdaki gibi yönlendirildiği göz önüne alındığında, verilen bir matris satırının "gerçek" için belirli bir değere karşılık geldiği göz önünde bulundurulur:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Yani hassas biz olayların kesir dir, doğru beyan algoritma ilan tüm örnekleri dışarı . Tersine, hatırlama biz doğru beyan olayların bölümüdür dünyanın devletin doğrudur durumların hepsinde dışarı .i i $i$$i$$i$$i$

Çok sınıflı sorunlar için bu ölçümlere bakarak iyi bir özet kağıdı:

• Sokolova, M., & Lapalme, G. (2009). Sınıflandırma görevleri için performans ölçümlerinin sistematik bir analizi. Bilgi İşlem ve Yönetimi, 45 , s. 427-437. ( pdf )

Özet okur:

Bu makale, Makine Öğrenimi sınıflandırma görevlerinin tamamında kullanılan, yani ikili, çoklu sınıf, çoklu etiketli ve hiyerarşik olarak kullanılan yirmi dört performans ölçüsünün sistematik bir analizini sunar. Her bir sınıflandırma görevi için, çalışma bir karışıklık matrisindeki bir dizi değişimin verinin spesifik özelliklerine ilişkindir. Daha sonra analiz, bir ölçümü değiştirmeyen bir karışıklık matrisindeki değişikliklerin türüne odaklanır, bu nedenle bir sınıflandırıcının değerlendirmesini korur (ölçüm değişmezliği). Sonuç, bir sınıflandırma problemindeki tüm ilgili etiket dağıtım değişikliklerine göre ölçüt değişmezliği taksonomisidir. Bu resmi analiz, önlemlerin değişmezlik özelliklerinin sınıflandırıcıların daha güvenilir bir şekilde değerlendirilmesine yol açtığı uygulama örnekleri ile desteklenir.

Sklearn ve numpy kullanımı:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Genel hassasiyet ve hatırlama önlemleri almak için,

np.mean(recall)
np.mean(precision)