Інтерпретація області під кривою PR

В даний час я порівнюю три методи, і в мене є показники точності, auROC і auPR. І я маю такі результати:

Спосіб A - соотв .: 0,75, auROC: 0,75, auPR: 0,45

Спосіб B - ac: 0,65, auROC: 0,55, auPR: 0,40

Спосіб C - acc: 0,55, auROC: 0,70, auPR: 0,65

Я добре розумію точність та auROC (щоб добре запам'ятати, я часто намагаюся придумати таке речення, як "auROC = характеризувати вміння добре передбачати позитивний клас", тоді як не зовсім правильне воно допомагає мені запам'ятати). Я ніколи не мав даних auPR раніше, і, як я розумію, як вона побудована, я не можу отримати "відчуття" за цим.

Насправді я не розумію, чому метод C має неймовірно високий бал для auPR, хоча він поганий / середній для точності та auPR.

Якби хтось міг допомогти мені зрозуміти це трохи краще за допомогою простого пояснення, яке було б справді чудовим. Дякую.

machine-learning roc precision-recall

— AdrienNK
джерело

Одна вісь кривих ROC і PR однакова, тобто TPR: скільки позитивних випадків було правильно класифіковано з усіх позитивних випадків у даних.

Інша вісь інша. ROC використовує FPR, тобто кількість помилково оголошених позитивних результатів з усіх негативів у даних. Крива PR використовує точність: скільки справжніх позитивних результатів з усіх, які були прогнозовані як позитивні. Тож основа другої осі різна. ROC використовує те, що є в даних, PR використовує те, що в прогнозі, як основу.

Крива PR вважається більш інформативною, коли спостерігається дисбаланс високого класу в даних, див. Цей документ http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .

— інзл
джерело

Для auROC 0,5 - мінімум (тому що менше було б краще, перевернувши прогноз). Чи є подібні правила з auPR? Щодо моїх вимірювань: що я можу стверджувати, дивлячись на результати методу С? Оскільки я працюю з тим самим набором даних у 3 випадках і, з моєї точки зору, для набору даних з більш-менш рівномірним розподілом між класами, не було б сенсу, що auROC і auPR не дотримуються одного рейтингу для мого методи.

— AdrienNK

Яка оцінка випадкового класифікатора в auPR? Я знаю, що це 0,5 в auROC, але я не можу знати в auPR.

— Джек Твен

Очікувана оцінка auPR для випадкового класифікатора - це лише частка справжніх позитивних випадків у наборі даних. Таку точність ви б очікували, якби вгадати клас, і ви отримали б таку точність для всіх рівнів виклику. Таким чином, очікувана крива PR для випадкового класифікатора - це просто прямокутник з довжиною сторони "пропорція справжніх позитивних" х 1. Наприклад, якщо ваш набір даних містить 10% позитивних випадків і 90% негативних випадків, очікуваний auPR при випадковості 0,1.

— Ліззі Сілвер