Що таке "базова лінія" в кривій точності відкликання

15

Я намагаюся зрозуміти криву точності відкликання, я розумію, що таке точність і відкликання, але те, що я не розумію, це "базове" значення. Я читав це посилання https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/

і я не розумію базову частину, як показано в "Кривій точності нагадування ідеального класифікатора", що це робить? і як це ми обчислимо? Це просто випадкова базова лінія, яку ми вибираємо? Наприклад, у мене є дані twitter з такими атрибутами, як retweet,status_countetc, і мітка класу - Favorited1, якщо вибрано, і 0, якщо не вибрано, і я застосовую наївні баїси на ній, і тепер я хочу провести криву точності нагадування, як я повинен встановити свою базову лінію в цьому випадку ?

r machine-learning classification precision-recall

— гієрі
джерело

13

"Крива базової лінії" на графіку кривої PR - це горизонтальна лінія з висотою, що дорівнює кількості позитивних прикладів за загальною кількістю даних тренувань , тобто. частка позитивних прикладів у наших даних ( $P$ $N$ ). $\frac{P}{N}$

Гаразд, чому це так? Давайте припустимо , що у нас є «нездоровий класифікатор» . повертає випадкову ймовірність до -а вибірка , наприклад , щоб бути в класі . Для зручності скажіть . Пряме значення цього випадкового призначення класу полягає в тому, що матиме (очікувану) точність, рівну частці позитивних прикладів у наших даних. Це лише природно; будь-яка абсолютно випадкова під вибірка наших даних матиме $C_J$ $C_J$ $p_i$ $i$ $y_i$ $A$ $p_i \sim U[0,1]$ $C_J$ правильно класифіковані приклади. Це буде справедливо для будь-якого порогового значення ймовірностіми могли б використовуватиякості кордону рішення для ймовірностей членів класущо повертаються. (позначає значення вде значення ймовірності більше або рівнікласифікуються в клас) З іншого боку, ефективність відкликання(в очікуванні) дорівнюєякщо. При будь-якому заданому порозі $E\{\frac{P}{N}\}$ $q$ $C_J$ $q$ $[0,1]$ $q$ $A$ $C_J$ $q$ $p_i \sim U[0,1]$ ми виберемо (приблизно) від загальної кількості даних, які згодом будуть містити (приблизно) від загальної кількості екземплярів класу у вибірці. Звідси горизонтальна лінія, яку ми згадували на початку! Для кожного значення виклику (значення у графіку PR) відповідне значення точності (значення у графі PR) дорівнює $q$ $(100(1-q))\%$ $(100(1-q))\%$ $A$ $x$ $y$ . $\frac{P}{N}$

Швидке бічне Примітка: Поріг є НЕ звичайно дорівнює 1 мінус очікуваного відгук. Це відбувається у випадку згаданого вище лише через випадкове рівномірне розподіл результатів ; для іншого розподілу (наприклад, ) це приблизне співвідношення тотожності між та згадуванням не дотримується; використовувався тому, що це найлегше зрозуміти та подумки уявити. Для іншого випадкового розподілу в $q$ $C_J$ $C_J$ $p_i \sim B(2,5)$ $q$ $U[0,1]$ PR-профіль не зміниться. Просто розміщення значень PR для заданихзначень зміниться. $[0,1]$ $C_J$ $q$

Тепер щодо досконалого класифікатора , мається на увазі класифікатор, який повертає ймовірність до вибіркового екземпляра будучи класом якщо справді є класом і додатково повертає ймовірність якщо не є членом класу . Це означає, що для будь-якого порогу ми матимемо точність (тобто у графі-термінах ми отримуємо лінію, що починається з точності ). Єдиний момент у нас не виходить $C_P$ $1$ $y_i$ $A$ $y_i$ $A$ $C_P$ $0$ $y_i$ $A$ $q$ $100\%$ $100\%$ точності при . Для точність падає на частку позитивних прикладів у наших даних ( $100\%$ $q = 0$ $q=0$ )як (душевнохворих?) Класифікувати навіть точки зймовірністю того класуяк в класі. PRграфікмає тільки два можливих значення для її точності,і $\frac{P}{N}$ $0$ $A$ $A$ $C_P$ $1$ . $\frac{P}{N}$

ОК та деякий код R, щоб побачити це з перших рук із прикладом, коли позитивні значення відповідають нашої вибірки. Зверніть увагу , що ми робимо «м'яке» привласнення класу категорії в тому сенсі , що значення ймовірності , пов'язане з кожною точкою квантіфіцірует для нашої впевненості в тому , що ця точці належить класу . $40\%$ $A$

  rm(list= ls())
  library(PRROC)
  N = 40000
  set.seed(444)
  propOfPos = 0.40
  trueLabels = rbinom(N,1,propOfPos)
  randomProbsB = rbeta(n = N, 2, 5) 
  randomProbsU = runif(n = N)  

  # Junk classifier with beta distribution random results
  pr1B <- pr.curve(scores.class0 = randomProbsB[trueLabels == 1], 
                   scores.class1 = randomProbsB[trueLabels == 0], curve = TRUE) 
  # Junk classifier with uniformly distribution random results
  pr1U <- pr.curve(scores.class0 = randomProbsU[trueLabels == 1], 
                   scores.class1 = randomProbsU[trueLabels == 0], curve = TRUE) 
  # Perfect classifier with prob. 1 for positives and prob. 0 for negatives.
  pr2 <- pr.curve(scores.class0 = rep(1, times= N*propOfPos), 
                  scores.class1 = rep(0, times = N*(1-propOfPos)), curve = TRUE)

  par(mfrow=c(1,3))
  plot(pr1U, main ='"Junk" classifier (Unif(0,1))', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.50)),c(1,2)];
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr1B, main ='"Junk" classifier (Beta(2,5))', auc.main= FALSE,
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.50)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr2, main = '"Perfect" classifier', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);

де чорні кола та трикутники позначають та відповідно на перших двох графіках. Ми відразу бачимо, що «мотлох» класифікатори швидко переходять до точності, рівній $q =0.50$ $q=0.20$ $\frac{P}{N}$ $1$ $\approx 0.40$ $1$

$0$

Для запису, в резюме вже є дуже хороша відповідь щодо корисності кривих PR: тут , тут і тут . Просто уважне читання їх повинно дати хороше загальне розуміння кривих PR.

— usεr11852
джерело

1

Приєднався до цієї спільноти просто для того, щоб я зміг її підтримати. Це чудове пояснення концепції базової лінії в кривих точності виклику. Як біоінформатик я вважав це надзвичайно корисним.

— jimh

1

@jimh: Дякую, це дуже приємно почути. Я радий, що повідомлення було корисним.

— usεr11852

Я знаю, що це не коментар, який приносить корисну інформацію, але я хотів би подякувати тобі за ваше ретельне та відкритне пояснення.

— Ric S

0

Чудова відповідь вище. Ось мій інтуїтивний спосіб її думати. Уявіть, у вас куля червоних куль = позитивна і жовта = негативна, і ви кидаєте їх випадковим чином у відро = позитивна частка. Тоді якщо у вас однакова кількість червоних та жовтих кульок, коли ви обчислюєте PREC = tp / tp + fp = 100/100 + 100 з відра червоний (позитивний) = жовтий (негативний), отже, PREC = 0,5. Однак, якби у мене було 1000 червоних кульок і 100 жовтих кульок, то у відрі я б випадково очікував PREC = tp / tp + fp = 1000/1000 + 100 = 0,91, тому що це базовий рівень шансу в позитивній фракції, яка також є RP / RP + RN, де RP = реальна позитивна і RN = реальна негативна.

— Крістофер Джон
джерело