Які правильні значення для точності та відкликання у кращих випадках?

20

Точність визначається як:

p = true positives / (true positives + false positives)

Чи правильно, що як true positivesі false positivesпідхід 0, точність наближається до 1?

Те саме запитання для відкликання:

r = true positives / (true positives + false negatives)

Зараз я впроваджую статистичний тест, де мені потрібно обчислити ці значення, а іноді трапляється, що знаменник дорівнює 0, і мені цікаво, яке значення повернути для цього випадку.

PS: Вибачте за недоречний тег, я хотів би використовувати recall, precisionі limit, але я не можу створювати нові мітки ще.

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

— Бьорн Поллекс
джерело

Я не думаю, що нам потрібен ліміт.

Імовірно, ви намагаєтеся кількісно оцінити виконання певної діагностичної процедури; Чи є якась причина, що ви не використовуєте належну метрику виявлення сигналу, наприклад, d ', A' або область під кривою ROC?

— Майк Лоуренс

3

@Mike, точність та відкликання є загальними показниками оцінювання, наприклад, у пошуку інформації, де ROC або конкретна специфіка незручно використовувати, оскільки ви вже очікуєте великої кількості помилкових позитивних результатів.

— user979

17

Дана матриця плутанини:

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

ми знаємо, що:

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

Розглянемо випадки, коли знаменник дорівнює нулю:

TP + FN = 0: означає, що у вхідних даних не було позитивних випадків
TP + FP = 0: означає, що всі екземпляри прогнозувалися як негативні

— Amro
джерело

9

Розширення вашої відповіді: якщо TP = 0 (як і в обох випадках), відкликання дорівнює 1, оскільки метод виявив усі не справжні позитиви; точність дорівнює 0, якщо є FP, а 1 - в іншому випадку.

11

Відповідь - так. Невизначені крайові випадки трапляються, коли справжні позитивні значення (TP) дорівнюють 0, оскільки це в знаменнику обох P & R. У цьому випадку

Нагадаємо = 1, коли FN = 0, оскільки було виявлено 100% TP
Точність = 1, коли FP = 0, оскільки жодних помилкових результатів не було

Це переформулювання коментаря @ mbq.

— Джон Леман
джерело

3

Я знайомий з різною термінологією. Те, що ви називаєте точністю, отримало б позитивне прогностичне значення (PPV). І те, що ви називаєте, нагадую, я б назвав чутливість (Sens). :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

У випадку чутливості (нагадаємо), якщо знаменник дорівнює нулю (як вказує Амро), позитивних випадків немає, тому класифікація є безглуздою. (Це не зупиняє ані TP, ані FN до нуля, що призведе до граничної чутливості 1 або 0. Ці точки знаходяться відповідно у верхньому правому та нижньому лівому кутах кривої ROC - TPR = 1 та TPR = 0. )

Межа ППВ є значущою. Можливо, для відключення тесту буде встановлено такий високий (або низький) рівень, щоб усі випадки прогнозувалися як негативні. Це на початку кривої ROC. Граничне значення ППВ перед тим, як зріз досягне початку, можна оцінити, розглядаючи кінцевий сегмент кривої ROC безпосередньо перед початком. (Це може бути краще для моделювання, оскільки криві ROC, як відомо, шумно.)

Наприклад, якщо є 100 фактичних позитивних і 100 фактичних негативів, а кінцевий сегмент кривої ROC підходить від TPR = 0,08, FPR = 0,02, то обмежуючим PPV буде PPR ~ 0,08 * 100 / (0,08 * 100 + 0,02 * 100 ) = 8/10 = 0,8, тобто 80% ймовірність бути справжнім позитивом.

На практиці кожен зразок представлений відрізком на кривій ROC - горизонтальним для фактичного негативного та вертикальним для фактичного позитивного. Можна було б оцінити обмеження ППВ самим останнім сегментом до початку, але це дало б оцінку обмеження ППВ у 1, 0 або 0,5, залежно від того, чи був останній зразок справжнім позитивним, хибним позитивним (фактичним негативним) чи зробленим рівних TP і FP. Підхід моделювання було б краще, можливо, якщо дані є бінормальними - поширене припущення, наприклад: http://mdm.sagepub.com/content/8/3/197.short

— Тилаколео
джерело

1

Це залежало б від того, що ви маєте на увазі під "підходом 0". Якщо помилкові позитивні і помилкові негативи обидва наближаються до нуля швидше, ніж справжні позитивні, тоді так на обидва питання. Але в іншому випадку, не обов’язково.

— Роб Хайндман
джерело

Я дійсно не знаю ставку. Якщо чесно, все, що я знаю, - це те, що моя програма вийшла з ладу з розділенням на нуль і що мені потрібно якось обробляти цей випадок.

— Бьорн Поллекс