MAP @ gösterimi [. 5: .95] ne anlama geliyor?

17

Tespit için, bir nesne teklifinin doğru olup olmadığını belirlemenin yaygın bir yolu Birlik Üzerinde Kesişimdir (IoU, IU). Bu , önerilen nesne piksellerinin kümesini ve gerçek nesne pikselleri kümesini alır ve şunları hesaplar: $A$ $B$

I o U (A, B) = \frac{A \cap B}{A \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Genellikle, IoU> 0.5 bir hit olduğu anlamına gelir, aksi takdirde başarısız oldu. Her sınıf için,

Doğru Olumlu ( ): sınıfı için bir teklif yapıldı ve aslında sınıfı bir nesne vardı $TP(c)$ $c$ $c$
Yanlış Pozitif ( ): sınıfı için bir teklif yapıldı , ancak sınıfı bir nesne yok $FP(c)$ $c$ $c$
sınıfı için ortalama hassasiyet : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

MAP (ortalama ortalama hassasiyet) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Biri daha iyi teklifler isterse, IoU'yu 0,5'ten daha yüksek bir değere yükseltir (mükemmel olabilecek 1,0'a kadar). Bunu mAP @ p ile gösterebilir, burada IoU'dur. $p \in (0, 1)$

Peki mAP@[.5:.95]( bu makalede olduğu gibi) ne anlama geliyor?

computer-vision

— Martin Thoma
kaynak

[.5:.95]Parçanın bir dizi IoU değerine atıfta bulunduğundan şüpheleniyorum , ancak bu aralığın nasıl bilmediğim tek bir mAP olarak nasıl değerlendirildiğini.

— Neil Slater

@NeilSlater Peki ama neden üst sınır istesin ki? Daha yüksek bir IoU her zaman daha iyi değil mi?

— Martin Thoma

Daha yüksek IoU ile bir eşleşme elde etmek daha iyidir, ancak modelin mükemmel eşleşmeleri (herhangi bir model için) ne kadar iyi tanımladığını ölçersek ve mAP değeri azalır ve yararlı bir önlem olarak kabul edilmez. Neden bilmiyorum aralığına dahil değil, ama sonra bu durumda mAP nasıl hesaplandığını bilmiyorum - örneğin örneklere dayalı basit bir ortalama olabilir.

— Neil Slater

1

Orada bu github deposu üzerinde mükemmel açıklama ile IOU'luk , Hassas , Hatırlama , Ortalama Hassas ve MAP . Ayrıca, herhangi bir nesne algılayıcıyı değerlendiren bir koda sahiptir. Kesinlikle size yardımcı olacaktır : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](belirtilen biri mAP@[.5,.95]) 0,5 ila 0,95, adım 0,05'ten (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95) farklı IoU eşikleri üzerinden ortalama mAP anlamına gelir.

0.5'den 0.95'e (“0.5: 0.95” olarak yazılmıştır) farklı IoU eşikleri üzerinden mAP ortalaması alan yeni bir değerlendirme metriği ile ilişkili bir MS COCO zorluğu vardır. [ Ref ]

IoU ∈ [0.5: 0.05: 0.95] (COCO'nun standart metriği, sadece mAP @ [. 5, .95] olarak ifade edilir) ve mAP@0.5 (PASCAL VOC metriği) için ortalaması alınan mAP'yi değerlendiriyoruz. [ Ref ]

Nihai tespitlerimizi değerlendirmek için, diğer metriklerin yanı sıra [0,5: 0,05: 0,95] 'de IOU eşikleri üzerinden ortalama mAP'ı ölçen resmi COCO API [20]' yi kullanıyoruz. [ Ref ]

BTW, kaynak kodu içinde koko gösterileri tam olarak nemAP@[.5:.95] yapıyor:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Referanslar

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
kaynak

Bir sorunuz var mı? Örneğin, veri kümesinde belirli bir sınıfın 3 örneğine sahipsek ve model onlar için 0.1, 0.6 ve 0.9 iou döndürürse, 0.1 sonucunu ve 0.75 ortalama iou'yu ve karşılık gelen mAP'yi attığımız anlamına mı geliyor?

— Alex

5

Zaten Icyblade'den cevabın var. Ancak, Ortalama Hassasiyet formülünüzün yanlış olduğunu belirtmek istiyorum. formülü $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
kaynak

Referansı arayanlar için Average Precision (AP) tanımı sayfa 11'de yer almaktadır.

— Waylon Flinn

3

AP'nin tüm kategorilerde ortalaması alınır. Geleneksel olarak, buna "ortalama ortalama hassasiyet" (mAP) denir. AP ve mAP (ve benzer şekilde AR ve mAR) arasında bir ayrım yapmıyoruz ve farkın bağlamdan açık olduğunu varsayıyoruz.

http://cocodataset.org/#detections-eval

— Mark Yang
kaynak

MAP'ın çok sınıflı AP'lerin ortalaması olduğunu düşündüm. Ben / yazarın kategori tanımını bilmekten hoşlanıyorum.

— Cloud Cho