Площа під кривою ROC проти загальної точності

Я трохи заплутаний щодо площі під кривою (AUC) ROC та загальної точності.

1. Чи буде AUC пропорційним загальній точності? Іншими словами, коли ми маємо більшу загальну точність, ми обов'язково отримаємо більший AUC? Або вони за визначенням позитивно співвідносяться?

2. Якщо вони позитивно співвідносяться, чому ми турбуємося про те, щоб вони повідомляли їх обох у деяких публікаціях?

3. У реальному випадку я виконав деяку класифікаційну задачу і отримав такі результати: класифікатор A отримав точність 85%, AUC 0,98, а класифікатор B отримав точність 93%, а AUC - 0,92. Питання в тому, який класифікатор кращий? Або можливо отримати подібні результати на кшталт цих (я маю на увазі, може бути помилка в моїй реалізації)?

AUC (на основі ROC) і загальна точність здаються не однаковою концепцією.

Загальна точність ґрунтується на одній конкретній точці вирізування, тоді як ROC намагається провести всі точки вирізування та визначає чутливість та специфічність. Тож, коли ми порівнюємо загальну точність, ми порівнюємо точність на основі деякої точки вирізу. Загальна точність варіюється від різних точок вирізу.

Незважаючи на те, що два заходи статистики, можливо, співвідносяться, вони вимірюють різні якості класифікатора.

AUROC

Площа під кривою (AUC) дорівнює ймовірності того, що класифікатор класифікує випадково обраний позитивний екземпляр вище, ніж випадково обраний негативний приклад. Він вимірює класифікатор майстерність в рейтингу набору шаблонів за ступенем , в якій вони відносяться до позитивного класу, але фактично не призначаючи шаблони для класів.

Загальна точність також залежить від здатності класифікатора ранжувати шаблони, а також від його здатності вибирати поріг у рейтингу, який використовується для присвоєння шаблонів позитивному класу, якщо вище порогового та негативного класу, якщо нижче.

Таким чином, класифікатор з вищою статистикою AUROC (за всіх рівних умов), ймовірно, також матиме більш високу загальну точність, оскільки ранжування шаблонів (яке AUROC вимірює) вигідно як AUROC, так і загальної точності. Однак якщо один класифікатор добре класифікує шаблони, але погано вибирає поріг, він може мати високий AUROC, але погану загальну точність.

Практичне використання

На практиці мені подобається збирати загальну точність, AUROC, і якщо класифікатор оцінює ймовірність членства в класі, перехресну ентропію або прогностичну інформацію. Тоді у мене є показник, який вимірює його сильну здатність проводити жорстку класифікацію (якщо припустити, що помилково-позитивні та помилково негативні витрати на помилкову класифікацію рівні, а частотні класи у вибірці такі ж, як у оперативного використання - велике припущення!), показник, який вимірює здатність до ранжирування шаблонів, і метрика, яка вимірює, наскільки добре ранжування оцінюється як вірогідність.

Для багатьох завдань витрати на оперативну класифікацію невідомі або змінні, або частоти операційного класу відрізняються від частоти в навчальній вибірці або є змінними. У цьому випадку загальна точність часто є досить безглуздою, і AUROC є кращим показником продуктивності, і в ідеалі ми хочемо, щоб класифікатор, який видає добре відкалібровані ймовірності, щоб ми могли компенсувати ці проблеми в оперативному використанні. По суті, яка метрика важлива, залежить від проблеми, яку ми намагаємося вирішити.

Чи справді AUC дуже корисний показник?

Я б сказав, очікувана вартість є більш відповідним заходом.

Тоді ви матимете вартість A для всіх помилкових позитивів і вартість B для всіх помилкових негативів. Легко виявиться, що інший клас відносно дорожчий за інші. Звичайно, якщо у вас є витрати на помилкову класифікацію в різних підгрупах, то це буде ще більш потужним показником.

Складаючи графік відсікання на осі x та очікувану вартість на осі y, ви можете бачити, яка точка відсікання мінімізує очікувані витрати.

Формально у вас є збиток з функцією втрати (відсікання | дані, вартість), яку ви намагаєтеся мінімізувати.

Як і всі відповіді були розміщені: ROCі accuracyосновоположними є дві різні концепції.

Взагалі кажучи, ROCописується дискримінаційна сила класифікатора, незалежна від розподілу класів та нерівних витрат на помилку прогнозування (хибна позитивна та хибна негативна вартість).

Такий показник як accuracyобчислюється на основі розподілу класів test datasetабо cross-validation, але це співвідношення може змінитися, коли ви застосуєте класифікатор до даних реального життя, оскільки базовий розподіл класу був змінений або невідомий. З іншого боку, TP rateі FP rateна побудову AUCяких не впливатиме зміщення розподілу класів.