ImageNet: що означає помилка в п'ятірці?

9

Одним із методів оцінювання конкурсу ImageNet (класифікація зображень на 1000 категорій) є помилка топ-5, що це означає?

Дивіться: http://www.image-net.org/challenges/LSVRC/

machine-learning classification computer-vision

— RockTheStar
джерело

8

Помилка Top-5, також відома як помилка rank 5, є просто примірником метрики помилки Rank-N з . $(N=5)$

Помилка ранжу - частка тестових зразків де правильна мітка не відображається у верхній передбачуваних результатів моделі, коли результати сортуються у порядку зменшення достовірності, або . $N$ $x_i$ $y_i$ $N$ $P(y_i|x_i)$

У ILSVRC 2014 показник помилок для класифікації:

e = \frac{1}{n} \cdot \sum_{k} min_{i} d (c_{i}, C_{k})

$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$

де

d (a, b) = {\begin{cases} 0 & if a = b \\ 1 & otherwise \end{cases}

$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$

$c_i$ - передбачувана мітка, а - мітка основної істини. Існує можливих міток з . $C_k$ $n$ $k=1, ..., n$

— сабалаба
джерело

Чудово! Одне уточнення, що означає c і з великої літери C?

— RockTheStar

Тут великий C - один із основних знаків правдивості, а маленький c - один із прогнозованих міток.

— сабалаба

1

sabalaba - ви могли б додати цю інформацію до своєї відповіді?

— Glen_b -Встановіть Моніку

3

коефіцієнт помилки топ-5 (моделі) - частка тестових зображень, для яких правильна мітка не входить до п'яти міток, які модель вважає найбільш вірогідною [ 1 ]

— Дебврат Варшні
джерело

1

Я думаю, що умовна оцінка повинна читати: , якщо зустрічається у верхній N ймовірних класифікацій для заданого класу істинної грунтової істини. = 1, якщо цього немає. $d(A_i, B_k)$ $d(Ai, Bk) = 0$ $A_i$

Тут k приймає значення 0 до N-1. Де N - кількість класів. Для кожного існують ймовірні класифікації , де i приймає значення [0, N-1] $B_k$ $A_i$

— RM Nair
джерело