Як інтерпретувати криву ROC?

14

Я застосував логістичну регресію до своїх даних щодо SAS, і ось таблиця кривих і класифікація ROC.

введіть тут опис зображення

Мені подобається цифри в таблиці класифікації, але не зовсім впевнені, що показує крива roc та площа під нею. Будь-яке пояснення буде дуже вдячне.

— Гюнал
джерело

22

Коли ви робите логістичну регресію, вам дають два класи, кодовані як і . Тепер ви обчислюєте ймовірності того, що з урахуванням деяких пояснювальних варіантів людина належить до класу, кодованого як . Якщо ви виберете поріг ймовірності та класифікуєте всіх осіб із ймовірністю, що перевищує цей поріг, як клас та нижче як $1$ $0$ $1$ $1$ $0$ , ви в більшості випадків будете робити деякі помилки, оскільки зазвичай дві групи не можуть бути дискриміновані ідеально. Для цього порогу тепер можна обчислити свої помилки та так звану чутливість та специфічність. Якщо ви робите це для багатьох порогів, ви можете побудувати криву ROC, побудувавши чутливість проти 1-Специфічності для багатьох можливих порогів. Область під кривою грає, якщо ви хочете порівняти різні методи, які намагаються розмежувати два класи, наприклад, дискримінантний аналіз або пробіт-модель. Ви можете побудувати криву ROC для всіх цих моделей, а та, яка має найвищу площу під кривою, може розглядатися як найкраща модель.

Якщо вам потрібно глибше зрозуміти, ви також можете прочитати відповідь на інше питання щодо кривих ROC, натиснувши тут.

— random_guy
джерело

Чим площа під кривою ROC відрізняється від правильної норми в таблиці класифікації?

— Günal

2

У таблиці показано лише правильне та невірне для одного порогу. Однак крива AUROC є мірою повного методу класифікації та правильного та невірного для багатьох різних порогових значень.

— random_guy

Радий це чути!

— random_guy

6

AUC в основному лише повідомляє вам, як часто випадкове витяг з вашої передбачуваної ймовірності відповіді на ваших 1-мітних даних буде більшим, ніж випадкове витяг з вашої передбачуваної ймовірності відповіді на ваших 0-мічених даних.

— jlemaitre
джерело

6

Модель логістичної регресії - метод прямої оцінки ймовірностей. Класифікація не повинна грати ніякої ролі при її використанні. Будь-яка класифікація, що не ґрунтується на оцінці комунальних послуг (функція втрат / витрат) за окремими предметами, є недоцільною, за винятком надзвичайних надзвичайних ситуацій. Крива ROC тут не корисна; не є чутливістю або специфічністю, які, як і загальна точність класифікації, є невідповідними правилами оцінювання точності, які оптимізовані хибною моделлю, що не відповідає максимальній оцінці ймовірності.

$c$ $15p$ $Y$ $p$ $\leq 0.05$

— Френк Харрелл
джерело

@Frank Harrell: Не могли б ви детальніше розглянути розрахунок щодо перехоплення, а також коментар щодо похибки. Дякую!

— липень

@FrankHarrell робить вашу пораду, що нам потрібно застосовувати принаймні 15p спостереження, якщо ми в кінцевому підсумку робимо регресію хребта для калібрування моделі? Моє розуміння полягає в тому, що ми замінюємо p на ефективні розміри.

— Lepidopterist

Правильно, і я б сказав, що ви використовуєте пеналізацію, наприклад, квадратичний (гребінний) штраф, щоб оцінити параметри, що призводить до кращої калібрування

— Френк Харрелл

4

Я не автор цього блогу, і я вважаю цей блог надзвичайно корисним: http://fouryears.eu/2011/10/12/roc-area-under-the-curve-explained

Застосовуючи це пояснення до своїх даних, середній позитивний приклад має приблизно 10% негативних прикладів, набраних вище.

— Аерін
джерело