Çok etiketli verilerin doğruluğu için ölçü nedir?

KnownLabel Matrix ve PredictedLabel matrisinin verildiği bir senaryo düşünün. PredictedLabel matrisinin iyiliğini KnownLabel Matrisine göre ölçmek istiyorum.

Ancak buradaki zorluk, BilinenLabel Matrix'in yalnızca bir tane 1 ve diğer birkaç satırda çok sayıda 1 olması (bu örnek çoklu etiketli). KnownLabel Matrix örneği aşağıda verilmiştir.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Yukarıdaki matriste, veri örneği 1 ve 2, tek etiket verisi, veri örneği 3 ve 4, iki etiket verisi ve veri örneği 5, üç etiket verisidir.

Şimdi bir algoritma kullanarak veri örneği PredictedLabel Matrix var.

PredictedLabel Matrix'in BilinenLabel Matrix'e karşı iyiliğini ölçmek için kullanılabilecek çeşitli önlemleri bilmek istiyorum.

Frobeinus normlarının aralarındaki farkı önlemlerden biri olarak düşünebilirim. Ancak doğruluk gibi bir ölçü arıyorum $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Burada birden fazla veri örneği için tanımlayabiliyoruz ? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— öğrenci
kaynak

(+1) Sidenote: Sorularınızın çoğunda cevap kabul etmemeniz için belirli bir neden var mı? Verilen cevap probleminizi çözemediğinde neden bir yorum göndermediniz? Örneğin: stats.stackexchange.com/questions/9947/…

— steffen

Yanıtlar:

(1) güzel bir genel bakış sunar:

Vikipedi sayfası n çok etiketli sınıflandırma yanı değerlendirme ölçümlerimize bir bölüm içeriyor.

Çoklu etiket ayarında doğruluğun belirsiz olduğu konusunda bir uyarı eklerim: tam eşleşme oranına veya Hamming skoruna atıfta bulunabilir (bu yazıya bakınız ). Ne yazık ki, birçok makale "doğruluk" terimini kullanmaktadır.

(1) Sorower, Mohammad S. " Çok etiketli öğrenmeye yönelik algoritmalar üzerine bir literatür taraması. " Oregon State University, Corvallis (2010).

— Franck Dernoncourt
kaynak

Bu tanımlar Precision ve Recall için genel tanımlara aykırı mı? Hassasiyetin TP + FP ile bölünmesi gerektiğini ve hatırlamanın TP + FN ile bölmesi gerektiğini her zaman okudum (iyi anlaşılırsa burada önerilen tanımlar bunun tam tersini yapar).

— tomasyany

Hayır, kağıttaki tanımlar doğru. Burada için bir etiket kesin referans vektörüdür inci numune ve , etiket tahmin edilen bir dizi bir çok etiketli sınıflandırıcı belirtmektedir. Belki de yanlışlıkla ve karıştırdınız.

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$ anlamlarını .

— constt

için accuracyölçü, nasıl zarif nerede payda davalarını mı |Y + Z| == 0?

— ihadanny

@tomasyany, çevrilmiş gibi görünen metin tanımlarına (formüllere değil) atıfta bulunur.

— Narfanar

Ve bu AP tanımı daha çok mAP (AP anlamına geliyor) gibi görünüyor, değil mi? 'Doğruluk' olarak adlandırılan, ortalama IoU'dur. Terimler genel olarak biraz kafa karıştırıcı.

— Narfanar

Hamming Kaybı muhtemelen çok etiketli sınıflandırmada en yaygın kullanılan kayıp işlevidir.

Çoklu Etiket Sınıflandırması ve Çoklu Etiket Sınıflandırması Üzerine Ampirik Çalışmalara bir göz atın : Her ikisi de bunu tartışan bir genel bakış .

— tdc
kaynak

Correctly PredictedÖnerilen etiket kümesi ile beklenen etiket kümesi arasındaki kesişmedir. Total InstancesYukarıdaki setlerin birliğidir (yinelenen sayım yoktur).

Bu yüzden sınıfları tahmin ettiğiniz A, G, Eve test senaryosunun E, A, H, Pen doğru sonuç verdiğin bir örnek verilmişAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
kaynak