Коли ви схильні використовувати криві ROC для деяких інших тестів, щоб визначити здатність прогнозування певного вимірювання результату?
Що стосується дискретних результатів (живих / мертвих, присутніх / відсутніх), що робить ROC криві більш-менш потужними, ніж щось на зразок хі-квадрата?
Відповіді:
Функція ROC (це не обов'язково крива) дозволяє оцінити здатність до дискримінації, що надається специфічною статистичною моделлю (що складається з змінної предиктора або їх набору).
Основним врахуванням РПЦ є те, що прогнозування моделей не випливає лише з здатності моделі дискримінувати / робити прогнози на основі доказів, наданих змінними прогнозів. Також функціонуючим є критерій відповіді, який визначає, скільки доказів необхідно для того, щоб модель спрогнозувала відповідь, і який результат цих відповідей. Значення, яке встановлюється для критеріїв відповіді, буде сильно впливати на прогнозування моделі та, в кінцевому підсумку, на тип помилок, які вона буде робити.
Розглянемо загальну модель із змінними предиктора та критеріями відповіді. Ця модель намагається передбачити Присутність X, відповідаючи Так або Ні. Отже, у вас є така матриця плутанини:
**X present X absent**
**Model Predicts X Present** Hit False Alarm
**Model Predicts X Absent** Miss Correct Rejection
У цій матриці вам потрібно врахувати лише пропорції Хітів та Помилкових сигналів (адже інші можуть бути отримані з них, враховуючи, що їх до деяких до 1). Для кожного критерію відповіді ви будете використовувати іншу матрицю плутанини. Помилки (пропуски та помилкові сигнали тривоги) негативно пов'язані, це означає, що критерії реагування, що мінімізують помилкові тривоги, максимально збільшують пропуски та навпаки. Повідомлення: безкоштовного обіду немає.
Отже, для того, щоб зрозуміти, наскільки добре модель дискримінує випадки / робить прогнози, незалежно від встановлених критеріїв відповіді, ви побудуєте графіки "Хіти" та "Неправдиві", що виробляються в межах діапазону можливих критеріїв відповіді.
Що ви отримуєте від цього сюжету, це функція ROC. Область під функцією забезпечує неупереджений і непараметричний показник здатності дискримінації моделі. Цей захід є дуже важливим, оскільки він не містить заплутань, які могли б бути спричинені критеріями відповіді.
Другим важливим аспектом є те, що, аналізуючи функцію, можна визначити, які критерії відповіді кращі для ваших цілей. Які типи помилок ви хочете уникнути, а які - помилки. Наприклад, розглянемо тест на ВІЛ: це тест, який шукає якісь докази (в даному випадку антитіла) і робить дискримінацію / прогнозування на основі порівняння даних щодо критерію відповіді. Цей критерій відповіді зазвичай встановлюється дуже низьким, щоб ви мінімізували пропуски. Звичайно, це призведе до більшої кількості помилкових сигналів, які мають вартість, але вартість незначна порівняно з пропущеними.
За допомогою ROCs ви можете оцінити деякі можливості дискримінації моделі, незалежно від критеріїв відповіді, а також встановити оптимальні критерії відповіді, враховуючи потреби та обмеження того, що ви вимірюєте. Випробування на зразок hi-square взагалі не можуть допомогти в цьому, тому що навіть якщо ваше тестування, якщо прогнози є випадковим рівнем, багато різних пар Hit-False Alarm відповідають рівню шансів.
Деякі рамки, як-от теорія виявлення сигналів, априорно припускають, що наявні докази дискримінації мають специфічний розподіл (наприклад, нормальний розподіл або розподіл гами). Коли ці припущення виконуються (або знаходяться досить близько), є кілька дійсно приємних заходів, які полегшують ваше життя.
сподіваємось, це допоможе з’ясувати вас щодо переваг ROC
Крива ROC використовується, коли предиктор є безперервним, а результат дискретний, тому тест-квадрат не буде застосований. Насправді аналіз ROC в деякому сенсі еквівалентний тесту Манна-Вітні: площа під кривою P (X> Y), що є кількістю, що перевіряється тестом MW. Однак аналіз Манна-Вітні не акцентує увагу на виборі межі, в той час як це головний момент аналізу ROC. Крім того, криві ROC часто використовуються як лише візуальний показ прогнозованої здатності коваріату.
Найкоротша відповідь полягає в тому, що традиційні тести виявлення сигналу дають вам лише одну точку на ROC (робоча характеристика приймача), тоді як крива дозволяє бачити відповіді через діапазон значень. Можливо, що критерії та d 'зміщуються як одна зміна по всій кривій. Це подібно до різниці між t-тестом, що генерується шляхом вибору двох класів змінних предиктора та двох ліній регресії, що генеруються при перегляді параметричних маніпуляцій кожної змінної предиктора.
У випадку, якщо вас цікавлять подальші посилання, на веб-сайті компанії KH Zou доступний широкий перелік праць « Літературне дослідження одержувача експлуатаційних характеристик (ROC)» .
Криві ROC також використовуються, коли цікавить порівняння продуктивності різних класифікаторів, із широким застосуванням у біомедичних дослідженнях та біоінформатиці.
Багато в чому ROC є відволіканням від первинних інструментів висновку та оцінки моделей. Я не бачу великої цінності там.