Чи існує якийсь стандартний метод визначення "оптимальної" точки роботи на кривій точності відкликання ? (тобто визначення точки на кривій, яка пропонує хороший компроміс між точністю та відкликанням)
Дякую
Чи існує якийсь стандартний метод визначення "оптимальної" точки роботи на кривій точності відкликання ? (тобто визначення точки на кривій, яка пропонує хороший компроміс між точністю та відкликанням)
Дякую
Відповіді:
Визначення "оптимального" звичайно залежатиме від ваших конкретних цілей, але ось кілька відносно "стандартних" методів:
Точка рівних помилок (EER): точка, в якій точність дорівнює виклику. Деякі люди відчувають це "природним" діючим пунктом.
Вдосконалена і більш принципова версія вищезазначеного полягає у визначенні вартості помилок різного типу та оптимізації цієї вартості. Скажіть, неправильно класифікувати предмет (помилка в точності) вдвічі дорожче, ніж повністю пропущений предмет (помилка у відкликанні). Тоді найкращий робочий момент - це те, де (1 - відкликання) = 2 * (1 - точність).
У деяких проблемах люди мають природну мінімально прийнятну швидкість або точності, або відкликання. Скажімо, ви знаєте, що якщо більше 20% отриманих даних є невірними, користувачі перестануть використовувати вашу програму. Тоді закономірно встановити точність до 80% (або трохи нижче) і прийняти будь-яке нагадування, яке ви маєте на той момент.
Слідкуйте за другим та третім пунктами пункту SheldonCooper: Ідеальним вибором є те, щоб хтось інший зробив вибір у формі порогу (пункт 3) або компромісу за вигідною вартістю (пункт 2). І, можливо, найприємніший спосіб запропонувати їм вибір - за допомогою кривої ROC .
Я не впевнений, наскільки це "стандартно", але одним із способів було б обрати точку, найбільш близьку до (1, 1) - тобто 100% відкликання та 100% точності. Це був би оптимальний баланс між двома заходами. Це припускає, що ви не цінуєте точність над відкликанням або навпаки.