Обчисліть криву ROC для даних

Отже, у мене є 16 випробувань, в яких я намагаюся ідентифікувати людину з біометричної ознаки за допомогою дистанції Hamming. Мій поріг встановлено на 3,5. Мої дані нижче, і лише пробна версія 1 - справжнє Позитивне:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Моя думка плутанини в тому, що я дійсно не впевнений у тому, як зробити криву ROC (FPR проти TPR АБО FAR vs. FRR) з цих даних. Насправді не важливо, який з них, але я просто дуже розгублений, як рухатись до його обчислення. Будь-яка допомога буде вдячна.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

— rohanbk
джерело

Тут stats.stackexchange.com/a/105577/49130 Ви можете знайти додаткову інформацію про те, як намалювати криву ROC

— Олексій Григорьов

Відповіді:

Я пропоную графіки ROC: Примітки та практичні міркування для дослідників Тома Фосетта, справді відмінне прочитання. Наскільки я розумію ваше запитання, у цьому документі ви знайдете все необхідне.

Редагувати: Натхненний Адамом, я також хочу рекомендувати мій улюблений R-пакет для цього завдання: ROCR .

— steffen
джерело

Чи знаєте ви якісь хороші пакети Matlab, які можуть виконати роботу?

— rohanbk

@rohanbk Вибачте, ні. Давно минув час, коли я використовував матлаб.

— steffen

Посилання @steffen розірвано.

— Аллео

@Alleo дякую за повідомлення, посилання тепер вказує на citeseer (де доступний pdf) ... це має тривати довше.

— steffen

Чому ви хочете зробити криву ROC? Ви хочете скласти графік кривої залежних змінних чи ви хочете використовувати її як тестову статистику для того, щоб оцінити точність прогнозів ймовірностей (у такому випадку ви шукаєте AUC [область під кривою] ).

Якщо ви знайомі з R, пакет підтвердження в R має дві функції, які вам будуть корисні: roc.plot (), що дозволить побудувати вашу криву ROC, і roc.area (), що дозволить вам обчислити AUC.

— Адам
джерело

Чи знаєте ви якісь хороші пакети Matlab, які можуть виконати роботу?

— rohanbk