Переваги кривих ROC

Які переваги кривих ROC?

Наприклад, я класифікую деякі зображення, що є проблемою бінарної класифікації. Я вилучив близько 500 функцій і застосував алгоритм вибору функцій для вибору набору функцій, потім застосував SVM для класифікації. Як у цьому випадку я можу отримати криву ROC? Чи слід змінювати порогові значення мого алгоритму вибору функцій та отримувати чутливість та специфічність виводу, щоб намалювати криву ROC?

У моєму випадку яка мета створення кривої ROC?

Багато алгоритмів двійкових класифікацій обчислюють свого роду класифікаційний бал (іноді, але не завжди це ймовірність перебування в цільовому стані), і вони класифікуються залежно від того, чи буде показник вище певного порогу. Перегляд кривої ROC дозволяє побачити компроміс між чутливістю та специфічністю для всіх можливих порогових значень, а не лише того, який був обраний методом моделювання. Різні класифікаційні цілі можуть зробити одну точку на кривій більш придатною для однієї задачі, а іншу більш придатною для іншого завдання, тому перегляд кривої ROC - це спосіб оцінити модель, незалежну від вибору порогу.

Криві ROC не є інформативними в 99% випадків, які я бачив за останні кілька років. Багато статистиків і навіть більше практиків машинного навчання вважають їх обов'язковими. І переконайтеся, що ваша проблема справді проблема класифікації, а не проблема оцінки ризику. В основі проблем з кривими ROC лежить те, що вони пропонують користувачам використовувати точки вирізування для безперервних змінних, і вони використовують ймовірності зворотного зв'язку, тобто ймовірності подій, що знаходяться в зворотному часовому порядку (чутливості та специфічності). Криві ROC не можна використовувати для пошуку оптимальних компромісів, за винятком випадків, коли користувачі правила прийняття рішення передають аналітику функцію втрат (витрат; корисності).

Після створення кривої ROC можна розрахувати AUC (площа під кривою). AUC - це точність тесту через багато порогів. AUC = 1 означає тест ідеальний. AUC = .5 означає випадковість для двійкової класифікації.

Якщо є кілька моделей, AUC забезпечує єдине вимірювання для порівняння між різними моделями. Завжди є компроміси з будь-яким єдиним заходом, але AUC - це гарне місце для початку.

AUC не порівнює класи реальні та прогнозовані один з одним. Він дивиться не на прогнозований клас, а на прогнозовану оцінку чи ймовірність. Ви можете зробити передбачення класу, застосувавши до цього бала межу, скажімо, кожен зразок, який отримав оцінку нижче 0,5, класифікується як негативний. Але РПЦ приходить до того, як це станеться. Це працює з оцінками / ймовірності класу.

Він бере ці результати і сортує всі зразки відповідно до цієї оцінки. Тепер, коли ви знайдете позитивний зразок, крива ROC робить крок вгору (вздовж осі y). Щоразу, коли ви знайдете негативний зразок, рухаєтесь праворуч (уздовж осі x). Якщо ця оцінка відрізняється для двох класів, позитивні вибірки виходять на перше місце (як правило). Це означає, що ви робите більше кроків вгору, ніж праворуч. Далі вниз по списку з’являться негативні зразки, тому ви рухаєтеся вліво. Коли ви пройдете весь список зразків, ви досягнете координати (1,1), що відповідає 100% позитивних та 100% негативних зразків.

Якщо оцінка ідеально відокремлює позитивну від негативної вибірки, ви рухаєтеся повністю від (x = 0, y = 0) до (1,0), а потім звідти до (1, 1). Отже, площа під кривою дорівнює 1.

Якщо ваш бал має однакове розподіл на позитивні та негативні вибірки, ймовірність знайти позитивну чи негативну вибірку в відсортованому списку рівні, і тому ймовірність переміщення вгору або вліво на кривій ROC дорівнює. Ось чому ви рухаєтесь по діагоналі, оскільки ви по суті рухаєтеся вгору і вліво, вгору і вліво і так далі ..., що дає значення AROC приблизно 0,5.

У випадку незбалансованого набору даних кроковий ступінь відрізняється. Отже, ви робите менші кроки зліва (якщо у вас більше негативних зразків). Ось чому оцінка більш-менш незалежна від дисбалансу.

Таким чином, за допомогою кривої ROC можна уявити, як розділяються ваші вибірки, і площа під кривою може бути дуже хорошою метрикою для вимірювання продуктивності алгоритму бінарної класифікації або будь-якої змінної, яка може бути використана для розділення класів.

На малюнку показані однакові розподіли з різними розмірами вибірки. Чорна зона показує, де можна очікувати ROC-кривих випадкових сумішей позитивних та негативних зразків.