Çok Ortalamalı Sınıflandırma Ortamında Mikro Ortalama vs Makro Ortalama Performans

3 sınıflı çoklu sınıflandırma sınıflandırma ayarını deniyorum. Sınıf dağılımı, 3 sınıfın 1'inde düşen verilerin çoğu ile çarpılır. (sınıf etiketleri 1,2,3'tür, verinin% 67,28'i sınıf 1'ine düşerken, sınıf 2'de% 11,99 ve sınıf 3'te kalır)

Bu veri kümesi üzerinde çok sınıflı bir sınıflandırıcı yetiştiriyorum ve şu performansı alıyorum:

                    Precision           Recall           F1-Score
Micro Average       0.731               0.731            0.731
Macro Average       0.679               0.529            0.565

Neden tüm Micro avg emin değilim. performanslar eşittir ve ayrıca Makro ortalama performansların bu kadar düşük olmasının nedenidir.

Mikro ve makro ortalamalar (hangi metrik için olursa olsun) biraz farklı şeyler hesaplar ve bu yüzden yorumlamaları farklılık gösterir. Bir makro-ortalama, metriği her sınıf için bağımsız olarak hesaplar ve daha sonra ortalamayı alır (bu nedenle tüm sınıfları eşit şekilde işleme tabi tutar), oysa bir mikro ortalama, tüm sınıfların ortalama metriği hesaplamak için katkısını toplar. Çok sınıflı bir sınıflandırma kurulumunda, sınıf dengesizliği olabileceğinden şüpheleniyorsanız, mikro-ortalama tercih edilir (yani, bir sınıftan diğer sınıflardan çok daha fazla örneğe sahip olabilirsiniz).

Nedenini göstermek için, örneğin hassasiyeti . Diyelim ki Dört Sınıflı ve test edildiğinde aşağıdaki sayıları içeren bir Sınıf Karşıt-All (örneğin yalnızca bir doğru sınıf çıktısı var) çok sınıflı bir sınıflandırma sistemine sahip olduğunuzu düşünelim :$Pr=\frac{TP}{(TP+FP)}$

• A sınıfı: 1 TP ve 1 FP
• B sınıfı: 10 TP ve 90 FP
• Sınıf C: 1 TP ve 1 FP
• D sınıfı: 1 TP ve 1 FP

, olduğunu kolayca görebilirsiniz .$Pr_A = Pr_C = Pr_D = 0.5$$Pr_B=0.1$

• Sonra bir makro-ortalama hesaplar:$Pr=\frac{0.5+0.1+0.5+0.5}{4}=0.4$
• Bir mikro ortalama hesaplar:$Pr=\frac{1+10+1+1}{2+100+2+2}=0.123$

Bunlar hassasiyet için oldukça farklı değerler. Sezgisel olarak, makro ortalamada, A, C ve D sınıflarının "iyi" kesinlik derecesi (0,5), "iyi" bir genel kesinlik sürdürmeye katkıda bulunur (0,4). Bu teknik olarak doğru olsa da (sınıflar arasında, ortalama hassasiyet 0,4'tür), çok sayıda örnek uygun şekilde sınıflandırılmadığından, bu biraz yanıltıcıdır. Bu örnekler ağırlıklı olarak B sınıfına karşılık gelir, bu nedenle test verilerinizin% 94,3'ünü oluşturmasına rağmen ortalamaya 1/4 oranında katkıda bulunurlar. Mikro ortalama, bu sınıf dengesizliğini yeterince yakalayacak ve genel hassasiyet ortalamasını 0.123'e düşürecektir (baskın B sınıfının (0.1) hassasiyetine paralel olarak).

Hesaplamalı nedenlerden dolayı, bazen sınıf ortalamalarını hesaplamak ve daha sonra bunları makro ortalamalamak daha uygun olabilir. Sınıf dengesizliğinin bir sorun olduğu biliniyorsa, bunun birkaç yolu vardır. Biri sadece makro ortalamayı değil aynı zamanda standart sapmasını da bildirmektir (3 veya daha fazla sınıf için). Bir diğeri, ortalamaya her bir sınıf katkısının, bunun için mevcut olan göreceli örnek sayısına göre ağırlıklandırıldığı ağırlıklı bir makro ortalamasını hesaplamaktır. Yukarıdaki senaryoda, şunları elde ederiz:

$Pr_{macro-mean}={0.25·0.5+0.25·0.1+0.25·0.5+0.25·0.5}=0.4$ $Pr_{macro-stdev}=0.173$

$Pr_{macro-weighted}={0.0189·0.5+0.943·0.1+0.0189·0.5+0.0189·0.5}={0.009+0.094+0.009+0.009}=0.123$

Büyük standart sapma (0.173) bize zaten 0.4 ortalamanın sınıflar arasında tek tip bir hassasiyetten kaynaklanmadığını, fakat aslında mikro-ortalamayı hesaplamanın başka bir yolu olan ağırlıklı makro-ortalamayı hesaplamanın daha kolay olabileceğini söylüyor. .

Orijinal Gönderi - http://rushdishams.blogspot.in/2011/08/micro-and-macro-average-of-precision.html

Mikro-ortalama yönteminde, bireysel bireysel pozitif pozitifleri, yanlış pozitifleri ve sistemin farklı kümelerdeki yanlış negatiflerini toplar ve bunları istatistiklere ulaşmak için uygularsınız.

Zor, ama bunu çok ilginç buldum. Bu kadar ortalama bir bilgi alma ve sınıflandırma istatistiği elde etmenin iki yöntemi vardır.

1. Mikro Ortalama Yöntemi

Mikro-ortalama yönteminde, bireysel bireysel pozitif pozitifleri, yanlış pozitifleri ve sistemin farklı kümelerdeki yanlış negatiflerini toplar ve bunları istatistiklere ulaşmak için uygularsınız. Örneğin, bir veri kümesi için, sistemin

True positive (TP1)  = 12
False positive (FP1) = 9
False negative (FN1) = 3

Ardından hassasiyet (P1) ve geri çağırma (R1) ve$57.14 \%=\frac {TP1}{TP1+FP1}$$80\%=\frac {TP1}{TP1+FN1}$

ve farklı bir veri kümesi için, sistemin

True positive (TP2)  = 50
False positive (FP2) = 23
False negative (FN2) = 9

Ardından hassasiyet (P2) ve geri çağırma (R2) 68.49 ve 84.75 olacaktır.

Şimdi, Micro-average yöntemini kullanarak sistemin ortalama hassasiyeti ve geri çağrılması,

$\text{Micro-average of precision} = \frac{TP1+TP2}{TP1+TP2+FP1+FP2} = \frac{12+50}{12+50+9+23} = 65.96$

$\text{Micro-average of recall} = \frac{TP1+TP2}{TP1+TP2+FN1+FN2} = \frac{12+50}{12+50+3+9} = 83.78$

Mikro-Ortalama F-Skoru bu iki figürün harmonik ortalaması olacaktır.

2. Makro Ortalama Yöntemi

Yöntem yalındır. Sadece hassasiyetin ortalamasını alın ve sistemi farklı setlerde geri çağırın. Örneğin, verilen ortalama için makro ortalama hassasiyet ve sistemin hatırlanması

$\text{Macro-average precision} = \frac{P1+P2}{2} = \frac{57.14+68.49}{2} = 62.82$ $\text{Macro-average recall} = \frac{R1+R2}{2} = \frac{80+84.75}{2} = 82.25$

Makro-ortalama F-Skoru, sadece bu iki rakamın harmonik ortalaması olacaktır.

Uygunluk Makro ortalama yöntemi, sistemin veri kümelerinde genel olarak nasıl performans gösterdiğini bilmek istediğinizde kullanılabilir. Bu ortalamaya ilişkin herhangi bir karar vermemelisiniz.

Diğer taraftan, veri kümenizin boyutu değiştiğinde mikro ortalama yararlı bir önlem olabilir.

Çok sınıflı bir ortamda, mikro-ortalamalı hassasiyet ve hatırlama her zaman aynıdır.

Çok sınıflı bir ayarda tüm yanlış örnekleri , bu

Dolayısıyla, P = R. Başka bir deyişle, her bir Yanlış Tahmin, bir sınıf için Yanlış Olumlu olacaktır ve her Tek Olumsuz, bir sınıf için Yanlış bir Olumsuz olacaktır. İkili bir sınıflandırma davasını iki sınıflı bir sınıflandırma olarak ele alırsanız ve mikro-ortalamalı kesinliği hesaplarsanız ve hatırlarsanız aynı olacaktır.

Rahul tarafından verilen cevap, ortalama ikili hassasiyet ve çoklu veri setinden geri çağırma durumundadır. Bu durumda mikro ortalama hassasiyet ve hatırlama farklıdır.

Böyle olması gerekiyor. Araştırmam için de aynı sonucu aldım. İlk başta garip görünüyordu. Ancak, çok sınıflı tek etiketli sınıflandırıcının sonucunun mikro ortalaması alınırken hassasiyet ve hatırlama aynı olmalıdır. Bunun nedeni, eğer bir sınıflandırma c1 = c2 (burada c1 ve c2'nin 2 farklı sınıf olduğu), yanlış sınıflamanın c2'ye göre yanlış bir pozitif (fp) ve c1'e göre yanlış negatif (fn) olmasıdır. Tüm sınıflar için fn ve fp'yi toplarsanız, aynı numarayı alırsınız, çünkü her bir yanlış sınıflandırmayı bir sınıfa göre fp ve diğer sınıfa göre fn olarak sayıyorsunuzdur.

Makro ortalamanın mikro ortalamanın altında olmasının sebebi, pythiest'in cevabı ile iyi açıklandığını düşünüyorum (egemen sınıf daha iyi tahminlere sahiptir ve bu nedenle mikro ortalama artar).

Ancak, mikro ortalamanın Precision, Recall ve F1 skorları için eşit olması, bu ölçümlerin ortalama alınmasının genel Doğruluk ile sonuçlanmasından kaynaklanmaktadır (micro avg tüm sınıfları pozitif olarak kabul eder). Hassasiyet ve Geri Çağırma eşit ise, F1 puanının yalnızca hassasiyete / geri çağırmaya eşit olduğunu unutmayın.

"Ağırlıklı makro ortalama" her zaman "mikro ortalama" ya eşit olacak mı? Farklı no ile bazı deneyler yaptım. sınıfların ve farklı sınıf dengesizliklerinin ortaya çıktığı ve bunun doğru olmadığı ortaya çıktı.

Bu açıklamalar aynı veri setindeki tüm sınıfları göz önünde bulundurduğumuzu varsaymaktadır (Rahul Reddy Vemireddy'nin cevabının aksine)

Makro F1 Puanını kullanmanın avantajı, tüm veri noktalarına eşit ağırlık vermesidir, örneğin: F1 micro, farklı etiketlerin tüm Geri Çağırma ve Presession'larının toplamını bağımsız olarak aldığından, yani sınıf dengesizliğine sahip olduğumuzda düşünelim. T1 =% 90 gibi, T2 =% 80, T3 = 5 ve sonra F1 Micro tüm sınıfa eşit ağırlık verir ve sınıf günlüğünün dağılımındaki sapmalardan etkilenmez Log kayıdı, sınıftaki küçük sapmalara ceza verir