Що таке метрика mAP і як вона обчислюється?

У комп'ютерному зорі та виявленні об'єктів загальним методом оцінки є mAP. Що це і як розраховується?

Цитати з вищезгаданої роботи Ціссермана - 4.2 Оцінка результатів (Стор. 11) :

Спочатку "критерій накладання" визначається як перетин над об'єднанням більше 0,5. (наприклад, якщо передбачуване поле відповідає цьому критерію щодо поля реальної землі, це вважається виявленням). Потім відбувається збіг між полями GT та передбаченими блоками, використовуючи такий "жадібний" підхід:

Висновки, що виводяться методом, були присвоєні основним об'єктам істинності, що задовольняють критерію перекриття, в порядку ранжирування за (спадною) довірою. Множинні виявлення одного і того ж об'єкта на зображенні вважалися помилковими виявленнями, наприклад 5 виявлення одного об'єкта, що зараховуються як 1 правильне виявлення та 4 помилкові виявлення

Отже, кожна передбачена рамка є або справжньо-позитивною, або помилково-позитивною. Кожне вікно "правда-земля" є справжньо-позитивним. Істинних заперечень не існує.

Потім середня точність обчислюється шляхом усереднення значень точності на кривій точності відкликання, де відкликання знаходиться в діапазоні [0, 0,1, ..., 1] (наприклад, середнє значення 11 точності). Щоб бути точнішим, ми розглянемо трохи виправлену криву PR, де для кожної точки кривої (p, r), якщо існує інша точка кривої (p ', r'), така що p '> p і r'> = r , ми замінюємо p максимальним p 'з цих точок.

Мені досі незрозуміло, що робиться з тими коробками GT, які ніколи не виявляються (навіть якщо довіра дорівнює 0). Це означає, що існують певні значення відкликання, яких крива відкликання з точністю ніколи не досягне, і це робить обчислення середньої точності вище невизначеними.

Редагувати:

Коротка відповідь: у регіоні, де відкликання недосяжне, точність падає до 0.

Одним із способів пояснити це є припущення, що коли поріг достовірності наближається до 0, по всьому зображенню загоряється нескінченна кількість передбачуваних обмежувальних рам. Тоді точність відразу переходить до 0 (оскільки існує лише кінцева кількість коробок GT), і відкликання продовжує зростати на цій плоскій кривій, поки ми не досягнемо 100%.

mAP - середня середня точність.

Його використання відрізняється в налаштуваннях пошуку інформації (Довідка [1] [2] ) та класифікації багатокласних категорій (виявлення об’єктів).

Щоб розрахувати його для виявлення об’єктів, ви обчислюєте середню точність для кожного класу у ваших даних на основі прогнозів вашої моделі. Середня точність пов’язана з площею під кривою відкликання точності для класу. Потім, приймаючи середнє значення середньої точності індивідуального класу, ви отримуєте середню середню точність.

Щоб розрахувати середню точність, див. [3]

Для виявлення загальним способом визначити, чи правильно було запропоновано один об’єкт, є перетин над об’єднанням (IoU, IU). Це бере набір A запропонованих пікселів об’єкта та набір справжніх пікселів об’єкта Bі обчислює:

Зазвичай IoU> 0,5 означає, що це був хіт, інакше він був невдалим. Для кожного класу можна розрахувати

• Справжній позитивний TP (c): було зроблено пропозицію щодо класу c, і насправді був об’єкт класу c
• Помилково позитивний FP (c): зроблено пропозицію щодо класу c, але немає об’єкта класу c
• Середня точність для класу c:
  

Тоді mAP (середня середня точність):

Примітка: Якщо хтось хоче отримати кращі пропозиції, він дійсно збільшує IoU з 0,5 до вищого значення (до 1,0, що було б ідеально). Це можна позначити за допомогою mAP @ p, де p \ in (0, 1) - IoU.

mAP@[.5:.95] означає, що mAP обчислюється за кількома порогами, а потім знову усереднюється

Редагувати: Для отримання більш детальної інформації див. Показники оцінки COCO

Я думаю, що важливою частиною тут є зв’язок того, як виявлення об’єктів можна вважати однаковим із стандартними проблемами пошуку інформації, для яких існує принаймні один чудовий опис середньої точності .

Результатом роботи деякого алгоритму виявлення об’єктів є набір запропонованих обмежувальних рам, і для кожного з них бали достовірності та класифікації (по одному балу на клас). Поки що проігноруємо класифікаційні оцінки і використаємо впевненість як вхідні дані для порогової двійкової класифікації . Інтуїтивно зрозуміло, що середня точність є сукупністю всіх варіантів вибору порогового / граничного значення. Але почекай; для того, щоб розрахувати точність, нам потрібно знати, чи вікно правильно!

Тут стає заплутаним / складним; на відміну від типових проблем пошуку інформації, ми насправді маємо тут додатковий рівень класифікації. Тобто, ми не можемо зробити точного збігу між полями, тому нам потрібно класифікувати, якщо обмежувальне поле правильно чи ні. Рішення полягає в тому, щоб по суті зробити жорстко закодовану класифікацію розмірів коробки; ми перевіряємо, чи достатньо воно перекривається з якоюсь основною істиною, щоб вважатись "правильним". Поріг для цієї частини обирається здоровим глуздом. Набір даних, над яким ви працюєте, швидше за все, визначатиме, яким є цей поріг для "правильного" обмежувального поля. Більшість наборів даних просто встановлюють його на 0,5 IoU і залишають на цьому (я рекомендую зробити кілька обчислень IoU вручну [вони не важкі], щоб відчути, наскільки насправді суворий IoU 0,5).

Тепер, коли ми фактично визначили, що означає бути «правильним», ми можемо просто використовувати той самий процес, що і пошук інформації.

Щоб знайти середню середню точність (mAP), ви просто стратифікуєте запропоновані квадрати, виходячи з максимуму класифікаційних балів, пов’язаних із цими полями, а потім усереднюєте (приймаєте середнє значення) середньої точності (AP) по класах.

TLDR; провести різницю між визначенням того, чи передбачення обмежувального вікна є «правильним» (додатковий рівень класифікації), та оцінкою того, наскільки надійно вікно інформує вас про «правильне» передбачення обмежувального вікна (повністю аналогічно випадку пошуку інформації) та типовими описами карта матиме сенс.

Варто зазначити, що площа під кривою Precision / Recall - це те саме, що середня точність , і ми по суті апроксимуємо цю область за допомогою трапецієподібного або правого правила для апроксимації інтегралів.

Визначення: mAP → середня середня точність

У більшості конкурсів на виявлення об’єктів існує безліч категорій для виявлення, і оцінка моделі виконується кожного разу за однією конкретною категорією, результат якого є AP цієї категорії.

Коли оцінюється кожна категорія, середнє значення всіх AP розраховується як кінцевий результат моделі, який є mAP.

Intersection Over Union (IOU) - це показник, заснований на індексі Жаккарда, який оцінює перекриття між двома обмежуючими полями. Він вимагає обмежувального поля істини на землі та передбачуваного обмежувального поля. Застосовуючи IOU, ми можемо визначити, чи є виявлення дійсним (True Positive) чи ні (False Positive). IoU визначається площею перекриття між передбачуваною рамкою обмеження та землею рамка істини розділена на площу об'єднання між ними.