0-1 Пояснення функції втрати

19

Я намагаюся зрозуміти, яка мета функції втрати, і я не можу її цілком зрозуміти.

Отже, наскільки я розумію, функція втрати полягає в тому, щоб ввести якусь метрику, за допомогою якої ми можемо виміряти "вартість" неправильного рішення.

Скажімо, у мене є набір даних із 30 об’єктів, я розділив їх на навчальні / тестові набори, як 20 / 10. Я буду використовувати функцію втрати 0-1, тому скажемо, що мій набір міток класу - M, а функція виглядає так :

L (i, j) = {\begin{cases} 0 i = j \\ 1 i \neq j \end{cases} i, j \in М

$L(i, j) = \begin{cases} 0 \qquad i = j \\ 1 \qquad i \ne j \end{cases} \qquad i,j \in M$

Тому я побудував деяку модель на своїх навчальних даних, скажімо, що я використовую класифікатор Naive Bayes, і ця модель правильно класифікувала 7 об'єктів (присвоїла їм правильні мітки класу), а 3 об'єкти були класифіковані неправильно.

Отже, моя функція втрати повертає "0" 7 разів та "1" 3 рази - яку інформацію я можу отримати від цього? Що моя модель класифікувала 30% об'єктів неправильно? Або є більше до цього?

Якщо в моєму мисленні є якісь помилки, мені дуже шкода, я просто намагаюся вчитися. Якщо приклад, який я надавав, "занадто абстрактний", дайте мені знати, я спробую бути більш конкретним. Якщо ви спробуєте пояснити концепцію, використовуючи інший приклад, скористайтеся функцією втрат 0-1.

machine-learning loss-functions

— Джонні Йохансон
джерело

14

Ви правильно підсумували функцію втрат 0-1 як ефективну, що дивиться на точність. Ваші 1 стають показниками для неправильно класифікованих позицій, незалежно від того, як вони були піддані класифікації. Оскільки у вас є 1 з 10 предметів, точність вашої класифікації становить 70%.

Якщо ви зміните зважування функції втрати, ця інтерпретація більше не застосовується. Наприклад, у класифікації захворювань може бути дорожче пропустити позитивний випадок захворювання (хибнонегативний), ніж помилково діагностувати захворювання (хибнопозитивний). У цьому випадку ваша функція втрати значно посилить помилкову негативну класифікацію. Сума ваших втрат більше не буде представляти точність у цьому випадку, а скоріше загальну "вартість" помилкової класифікації. Функція втрати 0-1 унікальна своєю еквівалентністю до точності, оскільки все, що вам важливо, це правильно ви чи ні, а не те, як робляться помилки.

— Ядерна Ванга
джерело

@JohnnyJohansson, що є визначенням слуху в статистиці, див. En.wikipedia.org/wiki/Sensibility_and_specificity

— Tim

@Tim - мене все ще бентежить функція втрат 0-1 - чи може в отриманій матриці значення більше 1, тобто, якщо є 3 класифікації пропуску, ми побачимо б значення 3 у відповідному записі? дивіться тут math.stackexchange.com/questions/2623072/…

— Xavier Bourret Sicotte

2

$L_1$ $L_2$

— Тім
джерело

0

Я думаю, що ваша плутанина не відрізняє втрати для однієї точки даних проти втрати для всього набору даних.

$L(y,\hat y)$

\sum_{i} L (у_{i}, {\hat{у}}_{i})

$\sum_i L(y_i,\hat y_i)$

— Хайтао Ду
джерело

Я насправді отримую різницю, але мені важко зрозуміти, що мені знадобиться ця втрата для однієї точки даних, крім обчислення втрат для всього набору даних? І що я повинен враховувати, обираючи адекватну функцію втрат для якоїсь конкретної проблеми?

— Джонні Йоханссон