Іншими словами, замість проблеми з двома класами я маю справу з 4 класами і все одно хотів би оцінити ефективність за допомогою AUC.
Відповіді:
Здається, ви шукаєте багатокласний аналіз ROC, який є свого роду багатоцільовою оптимізацією, висвітленою в підручнику на ICML'04. Як і в декількох проблемах, що належать до декількох класів, ідея, як правило, проводити попарне порівняння (один клас проти всіх інших класів, один клас проти іншого класу, див. (1) або Елементи статистичного навчання ), і є недавнє документ Landgrebe та Duin на цю тему, Апроксимація багатокласового ROC шляхом попарного аналізу , Letter Recognition Letters 2007 28: 1747-1758. Тепер, з метою візуалізації, я бачив деякі документи раніше, більшість з яких обертаються гучністю за поверхнею ROC (VUS) або кобвебською діаграмою .
Однак я не знаю, чи існує R-реалізація цих методів, хоча я думаю, що ця stars()функція може бути використана для сюжетного павутиння. Я щойно наткнувся на набір інструментів Matlab, який, здається, пропонує багатокласний аналіз ROC, PRSD Studio .
Інші документи, які також можуть бути корисними як перший старт для візуалізації / обчислення:
Список літератури:
1. Allwein, EL, Schapire, RE і Singer, Y. (2000). Зменшення багатокласового до двійкового: Уніфікуючий підхід для класифікаторів маржі. Журнал досліджень машинного навчання , 1 : 113–141.
Нещодавно я знайшов цей пакет pROC в R, який малює багатокласний ROC, використовуючи техніку, визначену Hand and Till (2001) . Ви можете використовувати функцію multiclass.roc.
Відповіді тут досить повні, але я все одно хотів би додати свої 5 центів. У цьому питанні ви можете знайти приклад коду R для створення кривих ROC за допомогою підходу One-Vs-All і бібліотеки ROCR R.
Це сюжет з цієї відповіді:
Незважаючи на те, що математика перевершує мене, ця загальна оглядова стаття має деякі посилання, які, ймовірно, вам будуть цікаві, і вона має короткий опис графіків ROC, що складаються у багатьох класах.
Вступ до аналізу ROC за допомогою листів розпізнавання образів Тома Фосетта Том 27, Випуск 8, червень 2006, Сторінки 861-874
Посилання на pdf як надано gd047- дякую