Як називається ця діаграма, що показує помилкові та справжні позитивні показники та як вона формується?

На зображенні нижче показано безперервну криву помилкових позитивних показників проти справжніх позитивних показників:

Однак те, що я не одразу отримую, - це те, як розраховуються ці ставки. Якщо метод застосовується до набору даних, він має певну швидкість FP та певну швидкість FN. Чи це не означає, що кожен метод повинен мати одну точку, а не криву? Звичайно, існує кілька способів налаштування методу, створюючи безліч різних точок, але мені незрозуміло, як існує цей континуум швидкостей чи як він генерується.

Діаграма - крива ROC, а точки (помилкова позитивна швидкість, справжня позитивна швидкість) розраховуються для різних порогових значень. Якщо припустити, що у вас є однакова функція корисності, оптимальне порогове значення - це значення для точки, найближчої до (0, 1).

Для генерації кривих ROC (= Характерні криві, що працюють на приймачі):

Припустимо, у нас є ймовірнісний, бінарний класифікатор, такий як логістична регресія. Перед поданням кривої ROC необхідно зрозуміти поняття матриці плутанини . Коли ми робимо двійкове прогнозування, може бути 4 типи помилок:

• Ми прогнозуємо 0, тоді як ми повинні мати клас насправді 0: це називається True Negative , тобто ми правильно прогнозуємо, що клас є негативним (0). Наприклад, антивірус не виявив нешкідливий файл як вірус.
• Ми прогнозуємо 0, тоді як у нас повинен бути клас насправді 1: це називається помилковим негативом, тобто ми неправильно прогнозуємо, що клас є негативним (0). Наприклад, антивірус не вдалося виявити вірус.
• Ми прогнозуємо 1, тоді як у нас повинен бути клас насправді 0: це називається a помилковим позитивом, тобто ми неправильно передбачаємо, що клас є позитивним (1). Наприклад, антивірус вважав нешкідливий файл вірусом.
• Ми прогнозуємо 1, тоді як у нас повинен бути клас насправді 1: це називається a істинним позитивом, тобто ми правильно прогнозуємо, що клас позитивний (1). Наприклад, антивірус справедливо виявив вірус.

Для отримання матриці плутанини ми перебираємо всі прогнози, зроблені моделлю, і підраховуємо, скільки разів трапляється кожен із цих 4 типів помилок:

У цьому прикладі матриці плутанини серед 50 точок даних, які класифікуються, 45 правильно класифіковані, а 5 неправильно класифіковані.

Оскільки для порівняння двох різних моделей часто зручніше мати одну метрику, а не декілька, ми обчислюємо дві метрики з матриці плутанини, яку згодом об'єднаємо в одну:

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

На цьому малюнку синя зона відповідає області під кривою експлуатаційної характеристики приймача (AUROC). Пунктирною лінією по діагоналі подаємо криву ROC випадкового предиктора: вона має AUROC 0,5. Випадковий предиктор зазвичай використовується в якості базової лінії, щоб визначити, чи корисна модель.

Якщо ви хочете отримати досвід з перших рук:

• Python: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

Відповідь Мортена правильно вирішує питання в заголовку - цифра, дійсно, крива ROC. Він виробляється шляхом побудови послідовності помилкових позитивних показників (FPR) проти відповідних справжніх позитивних показників.

Однак я хотів би відповісти на питання, яке ви задаєте в тій частині своєї посади.

Якщо метод застосовується до набору даних, він має певну швидкість FP та певну швидкість FN. Чи це не означає, що кожен метод повинен мати одну точку, а не криву? Звичайно, існує кілька способів налаштування методу, створюючи безліч різних точок, але мені незрозуміло, як існує цей континуум швидкостей чи як він генерується.

Багато методів машинного навчання мають регульовані параметри. Наприклад, результатом логістичної регресії є прогнозована ймовірність членства в класі. Правило прийняття рішення про класифікацію всіх точок з передбачуваними ймовірностями вище деякого порогу до одного класу, а решта до іншого, може створити гнучкий діапазон класифікаторів, кожен з яких має різні статистичні дані TPR та FPR. Те саме можна зробити у випадку з випадковим лісом, коли ви розглядаєте голоси дерев, або SVM, де ви розглядаєте підписану відстань від гіперплану.

У випадку, коли ви робите перехресну перевірку для оцінки ефективності поза вибіркою, типовою практикою є використання значень прогнозування (голосів, ймовірностей, підписаних відстаней) для створення послідовності TPR та FPR. Зазвичай це виглядає як ступінчаста функція, тому що, як правило , є лише одна точка, що рухається від TP до FN або FP до FN, при кожному передбачуваному значенні (тобто всі прогнозовані значення поза вибіркою є унікальними). У цьому випадку, поки існує континуум варіантів для обчислення TPR і FPR, функції TPR і FPR не будуть безперервними, оскільки є лише кінцево безліч вибіркових точок, тому отримані криві матимуть схожий вигляд .

З Вікіпедії:

Крива ROC була вперше розроблена інженерами-електриками та радіолокаторами під час Другої світової війни для виявлення об'єктів противника на полях битв і незабаром була введена в психологію для врахування перцептивного виявлення подразників. Аналіз ROC з тих пір застосовується в медицині, радіології, біометрії та інших областях протягом багатьох десятиліть і все частіше використовується в машинному навчанні та дослідженнях даних.

ROC також відомий як відносна крива робочих характеристик, оскільки це порівняння двох експлуатаційних характеристик (TPR і FPR) в міру зміни критерію.

Ви можете вважати дві осі як витрати, які повинні бути понесені для того, щоб бінарний класифікатор працював. В ідеалі ви хочете отримати якомога нижчу помилкову позитивну ставку за максимально високу справжню позитивну ставку. Тобто ви хочете, щоб двійковий класифікатор викликав якомога менше помилкових позитивів для якомога більшої кількості справжніх позитивів.

Щоб зробити це конкретним, уявіть собі класифікатор, який може виявити наявність певного захворювання, вимірюючи кількість якогось біомаркера. Уявіть, що біомаркер мав значення в діапазоні від 0 (відсутнє) до 1 (насичене). Який рівень максимально виявляє захворювання? Може статися так, що біомаркер над деяким рівнем класифікує деяких людей як захворювання, але вони не мають цього захворювання. Це помилкові позитиви. Звичайно, є ті, хто буде класифікований як такий, що має захворювання, коли у нього справді є захворювання. Це справжні позитиви.

РПЦ оцінює частку справжніх позитивних результатів усіх позитивних по відношенню до частки помилкових спрацьовувань, враховуючи всі можливі порогові значення.