Запитання з тегом «precision-recall»

Я розумію формальні відмінності між ними, що я хочу знати, коли важливіше використовувати одне проти іншого. Чи завжди вони забезпечують додаткове розуміння продуктивності даної системи класифікації / виявлення? Коли розумно надати їх обом, скажімо, в папері? замість лише одного? Чи існують альтернативні (можливо, більш сучасні) дескриптори, які відображають відповідні аспекти …

159 machine-learning  roc  precision-recall 

Мені цікаво, як обчислити точність та згадати, використовуючи матрицю плутанини для задачі класифікації класів. Зокрема, спостереження може бути призначене лише його найбільш ймовірному класу / етикетці. Я хотів би обчислити: Точність = TP / (TP + FP) Нагадаємо = TP / (TP + FN) для кожного класу, а потім обчисліть …

92 machine-learning  classification  precision-recall  multi-class 

Мені цікаво, як обчислити точність і відкликати заходи для багаторівневої класифікації багаторівневих, тобто класифікації, де існує більше двох міток і де кожен екземпляр може мати кілька міток?

72 machine-learning  classification  precision-recall  multi-class 

Я хотів би знати, як інтерпретувати різницю значень f-вимірювання. Я знаю, що f-міра - це збалансоване середнє значення між точністю та відкликанням, але я запитую про практичне значення різниці у F-мірах. Наприклад, якщо класифікатор C1 має точність 0,4, а інший класифікатор C2 - точність 0,8, то можна сказати, що C2 …

41 classification  precision-recall 

У мене є завдання класифікації, де у мене є ряд предикторів (один з яких є найбільш інформативним), і я використовую модель MARS для побудови свого класифікатора (мене цікавить будь-яка проста модель, і використання glms для ілюстративних цілей було б теж добре). Зараз у мене є величезний класовий дисбаланс у навчальних …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Я маю нижче приклад, який я взяв із документації sklearn 'sklearn.metrics.classification_report. Що я не розумію, це чому для кожного класу існують значення f1-балів, точності та відкликання, де я вважаю, що клас є міткою передбачувача? Я думав, що оцінка f1 говорить вам про загальну точність моделі. Також, що нам говорить стовпчик …

29 machine-learning  python  scikit-learn  precision-recall 

Чи середня точність (AP) - область під кривою точності нагадування (AUC PR-кривої)? Редагувати: ось декілька коментарів про різницю в PR AUC та AP. AUC отримують трапеційною інтерполяцією точності. Альтернативною і, як правило, майже еквівалентною метрикою є Середня точність (AP), повернена як інформація. Це середнє значення точності, що отримується щоразу, коли …

27 scikit-learn  precision-recall  auc  average-precision 

Мене збентежили розбіжності між оцінкою F1, оцінками Dice та IoU (перехрестя над об'єднанням). На сьогодні я дізнався, що F1 і Dice означають одне і те ж (так?), І IoU має дуже схожу формулу з двома іншими. F1 / кістки:2 ТП2 ТП+ FП+ FN2ТП2ТП+ЖП+ЖN\frac{2TP}{2TP+FP+FN} IoU / Жакард:ТПТП+FП+FNТПТП+ЖП+ЖN\frac{TP}{TP+FP+FN} Чи є якісь практичні …

24 terminology  accuracy  precision-recall 

Я маю справу з проблемою виявлення шахрайства (як кредитно-рахунковий). Як такий, існує сильно незбалансований зв’язок між шахрайськими та не шахрайськими спостереженнями. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html надає чудовий огляд різних класифікаційних показників. Precision and Recallабо kappaобидва здаються хорошим вибором: Одним із способів обґрунтувати результати таких класифікаторів є порівняння їх з результатами базових класифікаторів та …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Точність визначається як: p = true positives / (true positives + false positives) Чи правильно, що як true positivesі false positivesпідхід 0, точність наближається до 1? Те саме запитання для відкликання: r = true positives / (true positives + false negatives) Зараз я впроваджую статистичний тест, де мені потрібно обчислити …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Я щойно закінчив читати цю дискусію. Вони стверджують, що PR AUC кращий за RUC AUC на незбалансованому наборі даних. Наприклад, у нас є 10 зразків тестових наборів даних. 9 зразків є позитивними та 1 - негативними. У нас є жахлива модель, яка прогнозує все позитивне. Таким чином, ми матимемо метрику, …

18 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

У мене є сумніви щодо того, який показник продуктивності використовувати, площа під кривою ROC (TPR як функція FPR) або площа під кривою точності відкликання (точність як функція відкликання). Мої дані незбалансовані, тобто кількість негативних випадків значно більша, ніж позитивних. Я використовую вихідне передбачення Weka, зразок: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Чи може хтось підсумувати для мене можливі приклади, при яких ситуаціях збільшення даних про тренінг покращує загальну систему? Коли ми виявимо, що додавання більшої кількості даних про навчання може призвести до надмірних даних і не дати належної точності даних тесту? Це дуже неспецифічне запитання, але якщо ви хочете відповісти на …

16 machine-learning  classification  dataset  precision-recall 

Точність визначається як: p = справжні позитиви / (справжні позитиви + хибні позитиви) Яке значення точності, якщо (справжні позитивні + хибні позитивні) = 0? Це просто невизначено? Те саме запитання для відкликання: r = справжні позитиви / (справжні позитиви + хибні негативи) У цьому випадку, яке значення пригадування, якщо (справжні …

16 precision-recall 

Я експериментую з алгоритмом машини для підвищення градієнта через caretпакет в Р. Використовуючи невеликий набір даних про вступ до коледжу, я застосував такий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable