Оскільки у мене дуже незбалансований набір даних (9% позитивних результатів), я вирішив, що крива точності відкликання була більш підходящою, ніж крива ROC. Я отримав аналогічну підсумкову оцінку площі під кривою PR (.49, якщо вас цікавить), але не знаю, як її інтерпретувати. Я чув, що .8 або вище - це хороший AUC для ROC, але чи загальні відсіки будуть однаковими для AUC для кривої точності відкликання?
Відповіді:
Не існує магічного відключення ні для AUC-ROC, ні для AUC-PR. Вища, очевидно, краще, але це повністю залежить від додатків.
Наприклад, якби ви могли успішно визначити вигідні інвестиції з AUC 0,8 або, з цього приводу, що-небудь відрізняється від випадкового, я був би дуже вражений, і ви були б дуже багатими. З іншого боку, класифікація рукописних цифр з AUC 0,95 все ще значно нижча від сучасного рівня техніки.
Крім того, хоча найкраща можлива AUC-ROC гарантована в [0,1], це не відповідає дійсності кривих точності відкликання, оскільки можуть бути "недоступні" ділянки простору PR, залежно від того, наскільки спотворені розподіли класів. (Докладні відомості див. У цьому документі Boyd et al (2012) ).
.49 не є великим, але його тлумачення відрізняється від RUC AUC. Для ROC AUC, якщо ви отримали .49 за допомогою логістичної регресійної моделі, я б сказав, що ви робите не краще, ніж випадкові. Для .49 PR AUC, однак, це може бути не так вже й погано. Я б розглядав індивідуальну точність і згадував, можливо, те чи інше - це те, що знижує ваш PR AUC. Нагадаємо, ви скажете, скільки цього 9% позитивного класу ви насправді здогадуєтесь правильно. Точність підкаже, скільки ви здогадалися позитиву, чого не було. (Помилкові позитиви). 50% нагадування було б погано, тому що ви не здогадуєтесь про багато незбалансованого класу, але, можливо, 50% точність не буде поганою. Залежить від вашої ситуації.
Випадковий оцінювач матиме PR-AUC 0,09 у вашому випадку (9% позитивних результатів), тож ваш 0,49, безумовно, істотний приріст.
Якщо це хороший результат, можна було б оцінити лише порівняння з іншими алгоритмами, але ви не дали детальної інформації про використовуваний метод / дані.
Крім того, ви можете оцінити форму PR-кривої. Ідеальна крива PR іде горизонтально від верхнього кута до прямого кута і прямо до нижнього прямого кута, в результаті чого PR-AUC дорівнює 1. У деяких додатках крива PR показує натомість сильний шип на початку швидко знову впадіть близько до "лінії випадкового оцінювача" (горизонтальна лінія з точністю 0,09 у вашому випадку). Це свідчить про хороше виявлення "сильних" позитивних результатів, але про низьку ефективність щодо менш чітких кандидатів.
Якщо ви хочете знайти хороший поріг для параметра обрізання алгоритму, ви можете розглянути точку на кривій PR, яка найближча до прямого кута. Або ще краще, якщо можливо, розгляньте перехресну перевірку. Ви можете досягти точності та відкликати значення для конкретного параметра відсічення, які цікавіші для вашої програми, ніж значення PR-AUC. AUC найцікавіші при порівнянні різних алгоритмів.