Що означає позначення mAP @ [. 5: .95]?

17

Для виявлення загальним способом визначення правильності однієї об’єктної пропозиції є Перетин над Союзом (IoU, IU). Для цього береться набір запропонованих пікселів об'єкта та набір справжніх пікселів об'єкта і обчислюється: $A$ $B$

Я о U (А, Б) = \frac{А \cap Б}{А \cup Б}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Як правило, IoU> 0,5 означає, що це було хітом, інакше - провал. Для кожного класу можна обчислити

Справжнє Позитивне ( ): була зроблена пропозиція для класу і насправді був об’єкт класу $TP(c)$ $c$ $c$
Хибнопозитивний ( ): була зроблена пропозиція для класу , але немає об’єкта класу $FP(c)$ $c$ $c$
Середня точність для класу : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

MAP (середня середня точність) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Якщо ви хочете кращих пропозицій, можна збільшити ІО з 0,5 до більш високого значення (до 1,0, що було б ідеально). Позначити це можна за допомогою mAP @ p, де - IoU. $p \in (0, 1)$

Але що означає mAP@[.5:.95](як знайдено в цій статті )?

computer-vision

— Мартін Тома
джерело

Я підозрюю, що [.5:.95]частина стосується діапазону значень IoU, але як би цей діапазон оцінювався в єдину карту, я б не знав.

— Ніл Слейтер

@NeilSlater Але чому б ви хотіли верхньої межі? Чи не завжди вищий ІУ завжди кращий?

— Мартін Тома

Досягти відповідності з вищим IoU краще, але, мабуть, значення mAP знижується, якщо ми вимірюємо, наскільки добре модель описує ідеальні збіги (для будь-якої моделі), і це не вважається корисним заходом. Чому він не входить до діапазону, я не знаю, але тоді я не знаю, як обчислюється mAP в даному випадку - це може бути простим середнім на основі, наприклад, зразків.

— Ніл Слейтер

1

Існує це сховище github з відмінним поясненням щодо IOU , Precision , Recall , Average Precision і mAP . Він також має код, який оцінює будь-які об'єкти детектори. Це, безумовно, допоможе вам, хлопці : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Рафаель Паділья

10

mAP@[.5:.95](хтось позначав mAP@[.5,.95] ) означає середній mAP над різними порогами IoU, від 0,5 до 0,95, крок 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Існує пов'язаний виклик MS COCO з новою оціночною метрикою, яка в середньому складає КАР на різні пороги ІОУ, від 0,5 до 0,95 (написано як "0,5: 0,95"). [ Посилання ]

Ми оцінюємо усереднене значення mAP для IoU ∈ [0,5: 0,05: 0,95] (стандартна метрика СОКО, просто позначається як mAP @ [. 5, .95]) і mAP@0.5 (метрика PASCAL VOC). [ Посилання ]

Для оцінки наших остаточних виявлень ми використовуємо офіційний API COCO [20], який вимірює середнє значення середньої мети за пороговими показниками IOU в [0,5: 0,05: 0,95] серед інших показників. [ Посилання ]

До речі, то вихідний код з кокосової показує саме те , що mAP@[.5:.95]робить:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Список літератури

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
джерело

Ви заперечуєте проти питання? Якщо, наприклад, у наборі даних є 3 екземпляри певного класу, і модель повертає для них iou 0,1, 0,6 і 0,9, чи означає це, що ми відкидаємо результат 0,1 та середнє iou 0,75 та відповідний mAP?

— Олексій

5

Ви вже маєте відповідь від Icyblade. Однак я хочу зазначити, що ваша формула Середня точність неправильна. Формула $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$ - це визначення точності, а не середньої точності . Для виявлення об'єкта, AP визначається тут . Якщо коротко, вона підсумовує криву точності / відкликання, отже, враховується не тільки точність, але й відкликання (отже, і Хибний негатив буде також покараний).

— анхвх
джерело

Для тих, хто переглядає посилання, визначення середньої точності (AP) знаходиться на сторінці 11.

— Waylon

3

AP усереднюється для всіх категорій. Традиційно це називається "середня середня точність" (mAP). Ми не робимо різниці між AP і mAP (а також AR і mAR) і припускаємо, що різниця зрозуміла з контексту.

http://cocodataset.org/#detections-eval

— Марк Ян
джерело

Я подумав, що mAP - це середній показник AP в багатокласовому. Мені подобається знати ваше / паперове авторське визначення категорії.

— Хмара Чо