Оцінка класифікаторів: криві навчання та криві ROC

Я хотів би порівняти два різних класифікатори для проблеми класифікації багатокласового тексту, які використовують великі набори навчальних даних. Я сумніваюся, чи варто використовувати криві ROC або криві навчання для порівняння двох класифікаторів.

З одного боку, криві навчання корисні для визначення розміру навчального набору даних, оскільки ви можете знайти розмір набору даних, на якому класифікатор припиняє навчання (і, можливо, деградує). Тож найкращим класифікатором у цьому випадку може бути той, хто досягає найвищої точності з найменшим розміром набору даних.

З іншого боку, криві ROC дозволяють вам знайти точку з правильним компромісом між чутливістю / специфічністю. Найкращий класифікатор у цьому випадку - це лише той, який ближче до верхньої лівої частини, з найвищим TPR для будь-якого FPR.

Чи варто використовувати обидва методи оцінки? Чи можливий метод з кращою кривою навчання мати гіршу криву ROC, і навпаки?

Крива навчання - це лише інструмент діагностування, який говорить про те, як швидко навчається ваша модель та чи весь ваш аналіз не застряг у химерній області занадто малих наборів / занадто малого ансамблю (якщо застосовується). Єдиною частиною цього сюжету, яка є цікавою для оцінки моделі, є його кінець, тобто кінцевий показник - але для цього не потрібно повідомляти про сюжет.
Вибір моделі на основі кривої навчання під час замальовки у вашому запитанні є досить поганою ідеєю, оскільки ви, ймовірно, виберете модель, яка найкраще підходить для надмірного набору невеликих зразків.

Про ROCs ... крива ROC - це метод оцінювання бінарних моделей, що створюють показник достовірності того, що об'єкт належить до одного класу; можливо також знайти їх найкращі пороги, щоб перетворити їх у фактичні класифікатори.
Те, що ви описуєте, - це скоріше ідея побудувати результативність ваших класифікаторів як розсіювач TPR / FPR в просторі ROC та використовувати критерій, розташований у верхньому лівому куті, щоб вибрати цей, який найкраще збалансований між створенням помилкових сигналів тривоги та промаху - - цю конкретну мету можна досягти більш елегантно, просто вибравши модель з найкращим F-балом (гармонійне середнє значення точності та відкликання).