ImageNet: що таке коефіцієнт помилок топ-1 та топ-5?

У класифікаційних роботах ImageNet коефіцієнт помилок топ-1 та топ-5 є важливими одиницями для вимірювання успішності деяких рішень, але які показники помилок?

У класифікації ImageNet з глибокими згортковими нейронними мережами Крижевського та ін. кожне рішення, засноване на одній єдиній CNN (стор. 7), не має кращих 5 помилок, тоді як у тих, що мають 5 та 7 CNN (а також рівень помилок для 7 CNN є кращим, ніж для 5 CNN).

Чи означає це, що коефіцієнт помилок топ-1 є ​​найкращим коефіцієнтом помилок однієї CNN?

Чи частота помилок у топ-5 - це просто накопичений показник помилок у п'ять CNN?

[...] де коефіцієнт помилок у топ-5 є часткою тестових зображень, для яких правильна мітка не входить до п'яти міток, які вважаються найбільш імовірними режимом.

По-перше, ви робите передбачення, використовуючи CNN, і отримуєте прогнозований клас багаточленного розподілу ( ).$\sum p_{class} = 1$

Тепер, у випадку з топом 1-го , ви перевіряєте, чи високий клас (той, що має найбільшу ймовірність), такий, як цільова мітка.

У випадку оцінки топ-5 ви перевіряєте, чи є цільова мітка одним із ваших найбільших прогнозів (5 з найбільшою ймовірністю).

В обох випадках найкраща оцінка обчислюється як раз, коли передбачувана мітка збігається з цільовою міткою, поділена на кількість оцінених точок даних.

Нарешті, коли використовуються 5-CNN, ви спочатку оцінюєте їхні прогнози та дотримуєтесь тієї ж процедури обчислення балів перших-1 та топ-5.

Ваш класифікатор дає вам ймовірність для кожного класу. Скажімо, у нас були лише "кішка", "собака", "будинок", "миша" як класи (у цьому порядку). Тоді класифікатор дає щось на кшталт

0.1; 0.2; 0.0; 0.7

в результаті. Клас Top-1 - «миша». Топ-2 класи - {миша, собака}. Якщо правильний клас був "собачий", він би вважався "правильним" для Топ-2 точності, але як неправильний для Топ-1 точності.

Отже, в проблемі класифікації с $k$ можливі класи, кожен класифікатор має 100% топ-$k$точність. "Нормальна" точність - топ-1.