Це загальне запитання, яке тут задавали побічно багато разів, але на нього немає однозначної відповіді. Було б чудово отримати детальну відповідь на це для довідки.

Точність , частка правильних класифікацій серед усіх класифікацій є дуже простою та дуже "інтуїтивно зрозумілою" мірою, проте вона може бути поганою мірою для незбалансованих даних . Чому наша інтуїція вводить нас в оману і чи є інші проблеми з цим заходом?

Більшість інших відповідей зосереджені на прикладі незбалансованих класів. Так, це важливо. Однак я стверджую, що точність є проблематичною навіть при збалансованих класах.

Про це Френк Харрелл написав у своєму блозі: Класифікація проти прогнозування та шкоди, спричинені класифікаційною точністю та іншими переривчастими правилами неправильного балування точності .

По суті, його аргумент полягає в тому, що статистична складова вашої вправи закінчується, коли ви виводите ймовірність для кожного класу вашого нового зразка. Зіставлення цих передбачених ймовірностей до 0-1 класифікації, вибираючи поріг , за яким ви класифікують нове спостереження , як 1 проти 0 не є частиною статистики більше . Це частина компонента рішення . І тут вам потрібен імовірнісний вихід вашої моделі - але також міркування типу:$(\hat{p}, 1-\hat{p})$

• Які наслідки прийняти рішення щодо нового спостереження як класу 1 проти 0? Тоді я можу розіслати дешеву маркетингову пошту на всі 1? Або я застосовую інвазивне лікування раку з великими побічними ефектами?
• Які наслідки трактувати "справжній" 0 як 1, і навпаки? Чи відмічу я клієнта? Піддавати когось зайвого медичного лікування?
• Мої "класи" справді дискретні? Або насправді існує континуум (наприклад, артеріальний тиск), де клінічні пороги насправді є лише когнітивними ярликами? Якщо так, то наскільки далеко за поріг випадок, який я зараз «класифікую»?
• Або низька, але позитивна ймовірність бути класом 1 насправді означає "отримати більше даних", "виконати ще один тест"?

Залежно від наслідків вашого рішення, ви будете використовувати інший поріг для прийняття рішення. Якщо дія є інвазивним хірургічним втручанням, вам знадобиться набагато більша ймовірність для вашої класифікації пацієнта як такого, що страждає від чогось, ніж якщо б дія рекомендувала два аспірину. Або у вас можуть бути навіть три різні рішення, хоча є лише два класи (хворий проти здорових): «йди додому і не хвилюйся» проти «пройди ще один тест, тому що той, що маємо, є непереконливим» проти «одразу дій» .

Правильний спосіб оцінки прогнозованих ймовірностей полягає в тому, щоб не порівнювати їх з порогом, зіставити їх на на основі порогу, а потім оцінити трансформовані класифікація. Натомість слід використовувати належні правила скорингу . Це функції втрат, які відображають прогнозовані ймовірності та відповідні спостережувані результати до значень втрат, які мінімізуються в очікуванні на істинні ймовірності . Ідея полягає в тому, що ми беремо середнє значення за оцінковим правилом, оціненим за декількома (найкраще: багато) спостережуваними результатами, і відповідними передбачуваними ймовірностями членства в класі, як оцінку очікування правила скорингу.$(\hat{p}, 1-\hat{p})$( 0 , 1 ) ( 0 , 1 ) ( р , 1 - р )$(0,1)$$(0,1)$$(p,1-p)$

Зауважте, що "належне" тут має точно визначене значення - є неправильні правила скорингу , а також правильні правила скорингу і, нарешті, строго правильні правила скорингу . Правила оцінювання як такі є функціями втрат прогнозної щільності та результатів. Правильні правила скорингу - це правила підрахунку балів, які зведені до мінімуму в очікуванні, якщо щільність прогнозування - це справжня щільність. Строго правильні правила балів - це правила підрахунку балів, які зведені до мінімуму лише в тому випадку, якщо щільність прогнозування є справжньою щільністю.

Як зазначає Френк Харрелл , точність - це неправильне забивне правило. (Точніше, точність взагалі не є правилом зарахування балів : дивіться моєї відповіді на те, чи точність - це неправильне правило балів у налаштуваннях бінарної класифікації? ) Це можна побачити, наприклад, якщо у нас взагалі немає прогнозів, а лише перевертання несправедлива монета з ймовірностями . Точність досягається, якщо ми класифікуємо все як перший клас і повністю ігноруємо 40% ймовірність того, що будь-який результат може бути у другому класі. (Тут ми бачимо, що точність є проблематичною навіть для збалансованих класів.) Правильні правила балів вважають за краще передбачення перед$(0.6,0.4)$( 0,6 , 0,4 ) ( 1 , 0 )$(0.6,0.4)$$(1,0)$ один у очікуванні. Зокрема, точність в порозі переривається: переміщення порогу крихітним шматочком може зробити одне (або багаторазове) передбачення зміни класів і змінити всю точність на дискретну кількість. Це мало сенсу.

Більше інформації можна знайти у двох публікаціях Франка, пов’язаних із вище, а також у главі 10 Стратегії моделювання регресії Франка Харрелла .

(Це безсоромно пояснено з попередньої моєї відповіді .)

---

EDIT. Моя відповідь на Приклад, коли використання точності в якості міри результатів призведе до неправильного висновку, дає сподівається наочний приклад, коли максимальна точність може призвести до неправильних рішень навіть для збалансованих класів .

Коли ми використовуємо точність, ми присвоюємо однакову вартість помилковим позитивам та помилковим негативам. Коли цей набір даних є незбалансованим - скажімо, він містить 99% примірників в одному класі і лише 1% в іншому - є чудовий спосіб знизити вартість. Прогнозуйте, що кожен екземпляр належить до мажоритарного класу, отримайте точність 99% та йдіть додому рано.

Проблема починається тоді, коли фактичні витрати, які ми присвоюємо кожній помилці, не рівні. Якщо ми маємо справу з рідкісним, але смертельним захворюванням, вартість невиконання діагнозу захворювання хворої людини набагато вище, ніж вартість відправлення здорової людини на більше аналізів.

Загалом, загальної найкращої міри немає. Найкращий показник є результатом ваших потреб. У певному сенсі це не питання машинного навчання, а бізнес-питання. Загальноприйнято, що двоє людей будуть використовувати один і той же набір даних, але вибиратимуть різні показники через різні цілі.

Точність - чудова метрика. Насправді більшість показників є чудовими, і я люблю оцінювати багато показників. Однак в якийсь момент вам потрібно буде визначитися з використанням моделі A або B. Там ви повинні використовувати єдиний показник, який найкраще відповідає вашим потребам.

Для отримання додаткового кредиту виберіть цей показник перед аналізом, щоб ви не відволікалися під час прийняття рішення.

Проблема з точністю

Стандартна точність визначається як відношення правильних класифікацій до кількості зроблених класифікацій.

$$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$$

Таким чином, це є загальним показником для всіх класів, і як ми скоро побачимо, це не дуже вдало розповісти про оракул, окрім фактичного корисного тесту. Оракул - це класифікаційна функція, яка повертає випадкову здогадку для кожного зразка. Так само ми хочемо мати можливість оцінити ефективність класифікації нашої класифікаційної функції. Точність \ textit {can} може бути корисною мірою, якщо у нас однакова кількість зразків на клас, але якщо у нас незбалансований набір точності зразків взагалі не корисний. Тим більше, тест може мати високу точність, але насправді виконувати гірше, ніж тест із меншою точністю.

$\mathcal{A}$$\mathcal{B}$$\mathcal{C}$$0.9$

$$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$$

$classify$

$$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$$

$0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$$\mathcal{A}$$classify$

Точність на клас

$accuracy := \text{correct}/(\text{correct} + \text{incorrect})$$\mathcal{A}$$1.00$$\mathcal{A}$$0.33$$1.00$$0.00$$>0.5$$\mathcal{A}$$\mathcal{A}$$\mathcal{B}$$\mathcal{A}$

Чутливість та специфічність

У медичних тестах чутливість визначається як співвідношення між людьми, правильно визначеними як такі, що мають захворювання, та кількістю людей, які насправді мають це захворювання. Специфіка визначається як співвідношення між людьми, правильно визнаними здоровими, та кількістю людей, які насправді здорові. Кількість людей, які насправді мають захворювання, - це кількість справжніх позитивних результатів тесту плюс кількість помилково негативних результатів тесту. Кількість насправді здорових людей - це кількість справжніх негативних результатів тесту плюс кількість хибнопозитивних результатів тесту.

Двійкова класифікація

$\mathcal{P}$$\mathcal{N}$$T_{n}$$n$$F_{n}$$n$

$$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$$

$T_{\mathcal{P}}$$F_{\mathcal{N}}$$T_{\mathcal{N}}$$F_{\mathcal{P}}$$\alpha$$\beta$$\alpha$$T_{\alpha}$$\alpha$$T_{\alpha} + F_{\beta}$$\alpha$$T_{\beta}$$\alpha$$T_{\beta} + F_{\alpha}$$\alpha$$\beta$$\beta$$T_{\beta}$$\beta$$T_{\beta} + F_{\alpha}$$\beta$$T_{\alpha}$$\beta$$T_{\alpha} + F_{\beta}$

$$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$$

$sensitivity_{\alpha} = specificity_{\beta}$$specificity_{\alpha} = sensitivity_{\beta}$. Це означає, що якщо у нас є лише два класи, то нам не потрібна чутливість та специфічність для кожного класу.

N-Арська класифікація

Чутливість та специфічність для кожного класу не корисні, якщо у нас є лише два класи, але ми можемо розширити їх на кілька класів. Чутливість та специфічність визначаються як:

$$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$$

$T_{n}$$\sum_{i}(F_{n,i})$$\sum_{i}(F_{i,n})$$n$$\sum_{i}(T_{i}) - T(n)$$n$$n$$\sum_{i}(\sum_{k}(F_{i,k}))$$n$$n$$\sum_{i}(F_{n,i})$$n$$\sum_{i}(F_{i,n})$$\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$. Як підсумок ми маємо:

$$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$$

$$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$$

Введення впевненості

$confidence^{\top}$$T_{n} + \sum_{i}(F_{i,n})$$n$$T_{n}$

$$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$$

$confidence^{\bot}$$n$$n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$$\sum_{i}(F_{n,i})$

$$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$$

Збалансовані класи у вашому наборі даних

Якщо коротко: уявіть, 99% одного класу (скажімо, яблука) та 1% іншого класу у вашому наборі даних (скажімо, банани). Мій супер-пупер алгоритм отримує дивовижну 99% точність для цього набору даних, перевірте це:

return "it's an apple"

Він буде мати рацію 99% часу і тому отримує 99% точність. Чи можу я продати вам свій алгоритм?

Рішення: не використовуйте абсолютний показник (точність), а міру відносно кожного класу (їх там багато, як ROC AUC)

Відповідь DaL - саме це. Я проілюструю це дуже простим прикладом про ... продаж яєць.

$2$$1$

$2$$1$

Якщо ваш класифікатор не помилиться, ви отримаєте максимальний дохід, який можете очікувати. Якщо це не ідеально, то:

• $1$
• $1$

Тоді точність вашого класифікатора - це саме те, наскільки ви близькі до максимального доходу. Це ідеальна міра.

$a$

• $a$
• $2-a$

$a=0.001$$2$$0.001$

Якщо класифікатор стосується, наприклад, пошуку відповідних документів у базі даних, то ви можете порівняти "скільки" витрачає час на читання нерелевантного документа порівняно з пошуком відповідного документа.

Точність класифікації - це кількість правильних прогнозів, поділене на загальну кількість прогнозів.

Точність може ввести в оману. Наприклад, у проблемі, коли існує великий дисбаланс класів, модель може передбачити значення класу більшості для всіх прогнозів і досягти високої точності класифікації. Отже, потрібні подальші заходи щодо ефективності, такі як оцінка F1 та Brier.

$R^2$

$R^2$

Як зазначають інші, ще одна проблема точності - це неявна байдужість до ціни відмови - тобто припущення, що всі неправильні класифікації рівні. На практиці їх немає, а витрати на неправильну класифікацію дуже залежать від предмета, і ви можете скористатися мінімізацією певного виду помилок, ніж максимальною точністю.