F1 / Zar-Skor vs IoU

F1 skoru, Dice skoru ve IoU (sendika kesişme) arasındaki farklar konusunda kafam karıştı. Şimdiye dek F1 ve Dice'in aynı anlama geldiğini öğrendim (doğru?) Ve IoU'nun diğer ikisine çok benzer bir formülü var.

• F1 / Zar: $$\frac{2TP}{2TP+FP+FN}$$
• IoU / Jaccard: kırık $$\frac{TP}{TP+FP+FN}$$

F1'in gerçek-pozitifleri daha da arttırması dışında, dikkat edilmesi gereken herhangi bir pratik farklılık veya başka şeyler var mı? Birini kullanıp diğerini kullanmadığım bir durum var mı?

Doğru yoldasın.

Ancak, bir sınıflandırma alıştırmasının tipik bir sınıflandırma uygulaması için yapılabilecek daha güçlü bir ifade vardır. Herhangi bir sabit “temel gerçek” için, iki ölçü daima pozitif olarak ilişkilendirilir. Yani, A sınıflandırıcısı bir metrik altında B'den daha iyiyse, diğer metriğin altındaki B sınıflandırmasından da daha iyidir.

İki ölçümün fonksiyonel olarak eşdeğer olduğu sonucuna varmak caziptir, bu nedenle aralarındaki seçim keyfidir, ancak çok hızlı değildir! Bir takım çıkarımlar üzerinden ortalama puanı alırken sorun ortaya çıkar . Ardından, herhangi bir vaka için B sınıflandırıcısının A'dan ne kadar daha kötü olduğunu belirlerken fark ortaya çıkar .

Genel olarak, IoU metriği, her ikisinin de kötü olduğu konusunda hemfikir olsalar bile, tek bir kötü sınıflandırma örneğini F puanından daha fazla cezalandırma eğilimindedir. L2'nin L1'den daha büyük hataları nasıl cezalandırdığına benzer şekilde, IoU metriği de F puanına göre hatalar üzerinde "karesi" etkisine sahip olma eğilimindedir. Bu nedenle, F puanı ortalama performansa daha yakın bir şeyi ölçmeye meyilliyken, IoU puanı en kötü durum performansına daha yakın bir şeyi ölçmektedir.

Örneğin, çıkarımların büyük çoğunluğunun B sınıfından A sınıfından orta derecede daha iyi olduğunu, ancak bazılarının Sınıf B'yi kullanarak daha kötü olduklarını varsayalım. Bu durumda, F metrik IoU metriği tercih ettiği sırada F sınıfının A sınıfını tercih ettiği durumda olabilir. sınıflandırıcı B.

Elbette, bu metriklerin her ikisi de farklı olduklarından çok daha fazladır. Ancak her ikisi de, bu puanların ortalamalarını birçok çıkarımda ele alma bakış açısından başka bir dezavantajdan muzdariptir: ikisi de gerçek olmayan gerçek gerçeği pozitif olan setlerin önemini abartmaktadır. Yaygın görüntü segmentasyonu örneğinde, bir görüntü yalnızca tespit edilebilir bir sınıfın tek bir pikseline sahipse ve sınıflandırıcı bu pikseli ve bir başka pikseli tespit ettiğinde, F puanı düşük bir 2/3'tür ve IoU 1 / da daha kötüdür. 2. Bunun gibi önemsiz hatalar, bir dizi görüntü üzerinde alınan ortalama puanı ciddi şekilde etkileyebilir. Kısacası, her piksel hatasını eşit olarak ele almak yerine, seçilen / ilgili kümenin boyutuyla ters orantılı olarak ağırlıklandırır.

$c_0$$c_1$