Почнемо з прикладу. Скажіть, Аліса - тренер з легкої атлетики і хоче вибрати спортсмена, який представлятиме команду в майбутньому спортивному змаганні, на 200 м спринті. Природно, вона хоче вибрати найшвидшого бігуна.
- Строго правильне правило підрахунку очок призначатиме найшвидший бігун команди на відстані 200 метрів. Це максимізує саме те, чого хоче тренер Аліса в цій ситуації. Спортсмен з найшвидшими очікуваними показниками вибирається - це справедлива дискримінаційна перевірка.
- Належне правило підрахунку очок буде вибрати спортсмен , який здатний запустити 200й саме швидкої , але час округлюється до найближчої половини секунди. Найкращий спортсмен, а також потенційно інші спортсмени також зможуть пройти цей тест. Усі спортсмени, обрані таким чином, є досить конкурентоспроможними, але очевидно, що це не ідеальний дискримінаційний тест на швидкість.
- Належним правилом зарахування балів було б вибрати спортсмена, який здатний бігти на 200 м нижче межі змагального часу, наприклад 22 секунди. Як і раніше, найкращий спортсмен, як і деякі інші спортсмени, також зможуть пройти цей тест. Аналогічно, всі спортсмени, обрані таким чином, можуть бути досить конкурентоспроможними, але очевидно, що це не тільки не є ідеальним дискримінаційним тестом, але також може бути жахливо поганим (якщо ми обираємо занадто поблажливий або занадто жорсткий час). Зауважте, що це не зовсім неправильно.
- Неправильне правило скоринг буде вибрати спортсмена з сильними ногами, наприклад , хто може сидіти на корточках більшість ваги. Звичайно, будь-який хороший спринтер, мабуть, має дуже міцні ноги, але цей тест означає, що деякі хлопці з важкої атлетичної команди тут виграють. Зрозуміло, що важкоатлет у змаганнях на 200 м був би катастрофічним!
Хоча дещо тривіалізований приклад, наведений вище, показує, що відбувається з використанням правил скорингу. Еліс прогнозувала очікуваний спринтерський час. У контексті класифікації ми прогнозуємо ймовірності, мінімізуючи помилку імовірнісного класифікатора.
- Строго належного правила підрахунку очок , як рахунок Браєр, гарантує , що кращий результат буде досягнутий тільки тоді , коли ми так близькі до дійсних ймовірностей , як це можливо.
- Правильне бальне оцінювання , як і безперервне ранжування ймовірності (CRPS), не гарантує, що найкращий бал буде досягнутий лише класифікатором, прогнози якого найближчі до справжньої ймовірності. Інші кандидатські класифікатори можуть досягти балів CRPS, які відповідають рівню оптимального класифікатора.
- Пол належного правило підрахунку очок , як КАС-РПЦ, не тільки робить це не гарантія того, що кращий результат буде досягнутий класифікатором , чиї прогнози ближче до істинних можливостям, а й (потенційно) можна поліпшити значення AUC-ROC, переміщуючи передбачувані ймовірності від їх справжніх значень. Тим не менш, за певних умов (наприклад, розподіл класів апріорі відомий у випадку AUC-ROC) такі правила можуть наближатись до правильного бального правила. Byrne (2016) " Примітка про використання емпіричного AUC для оцінки ймовірнісних прогнозів " викликає деякі цікаві моменти щодо AUC-ROC.
- Неправильне правило підрахунку очок , як точність, пропозиції практично без зв'язку з нашою первинним завданням прогнозування ймовірності якомога ближче до істинної ймовірності.
Як ми бачимо, напівправильне правило зарахування балів не є досконалим, але воно також не є катастрофічним. Це може бути дуже корисно під час прогнозування насправді! Cagdas Ozgenc має відмінний приклад тут , де працює з невідповідним / напів-належного правила краще строго належного правила. Загалом, термін напівправильне бальне правило не дуже поширений. Він пов'язаний з неправильними правилами, які все-таки можуть бути корисними (наприклад, AUC-ROC або MAE в імовірнісній класифікації).
Нарешті, помітьте щось важливе. Як спринт асоціюється з сильними ногами, так правильна імовірнісна класифікація з Точністю. Навряд чи хороший спринтер матиме слабкі ноги, і навряд чи хороший класифікатор матиме погану точність. Тим не менш, прирівнювати точність та хороші показники класифікатора - це як прирівнювати силу ноги до хороших спринтерських характеристик. Не зовсім безпідставно, але дуже правдоподібно призвести до безглуздих результатів.