Запитання з тегом «auc»

Шукали високий і низький рівень і не змогли з’ясувати, що означає або означає AUC, як це стосується прогнозування.

228 classification  prediction  roc  auc  abbreviation 

Мене цікавить розрахунок площі під кривою (AUC) або c-статистика вручну для двійкової логістичної регресійної моделі. Наприклад, у наборі даних перевірки я маю справжнє значення для залежної змінної, утримання (1 = збережено; 0 = не збережено), а також передбачуваний статус утримання для кожного спостереження, згенерованого моїм регресійним аналізом, використовуючи модель, яка …

78 regression  logistic  classification  roc  auc 

Інформаційний критерій Akaike (AIC) та c-статистика (площа під кривою ROC) - це два заходи моделі, придатної для логістичної регресії. У мене виникають труднощі з поясненням того, що відбувається, коли результати двох заходів не узгоджуються. Я здогадуюсь, що вони вимірюють трохи різні аспекти відповідності моделі, але які ці конкретні аспекти? У …

29 logistic  roc  aic  auc 

У мене є два класифікатори A: наївна байєсівська мережа B: дерево (окремо пов'язане) байєсівської мережі Щодо точності та інших заходів, A працює порівняно гірше, ніж B. Однак, коли я використовую пакети R ROCR та AUC для аналізу ROC, виявляється, що AUC для A вище, ніж AUC для B. Чому це …

29 machine-learning  classification  roc  auc  bayesian-network 

Чи середня точність (AP) - область під кривою точності нагадування (AUC PR-кривої)? Редагувати: ось декілька коментарів про різницю в PR AUC та AP. AUC отримують трапеційною інтерполяцією точності. Альтернативною і, як правило, майже еквівалентною метрикою є Середня точність (AP), повернена як інформація. Це середнє значення точності, що отримується щоразу, коли …

27 scikit-learn  precision-recall  auc  average-precision 

У дискусії: як генерувати криву roc для бінарної класифікації , я думаю, що плутанина полягала в тому, що "двійковий класифікатор" (який є будь-яким класифікатором, який розділяє 2 класи) для Ян називається "дискретним класифікатором" (який виробляє дискретні виходи 0/1, як SVM), а не безперервні виходи, такі як ANN або Bayes-класифікатори ... …

25 cross-validation  roc  auc 

На зображенні нижче показано безперервну криву помилкових позитивних показників проти справжніх позитивних показників: Однак те, що я не одразу отримую, - це те, як розраховуються ці ставки. Якщо метод застосовується до набору даних, він має певну швидкість FP та певну швидкість FN. Чи це не означає, що кожен метод повинен …

22 machine-learning  data-visualization  roc  auc 

Преамбула Це довгий пост. Якщо ви перечитуєте це, зауважте, що я переглянув частину питання, хоча довідковий матеріал залишається тим самим. Крім того, я вважаю, що я розробив рішення проблеми. Це рішення з’являється внизу публікації. Дякую CliffAB, що вказав, що моє оригінальне рішення (відредаговане з цієї публікації; див. Історію редагування для …

21 machine-learning  bayesian  sampling  roc  auc 

Я використовую класифікатор, який повертає ймовірності. Для обчислення AUC я використовую pROC R-пакет. Вихідні ймовірності з класифікатора: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsпоказує ймовірність перебування в класі '1'. Як показано, класифікатор класифікував усі вибірки до класу '1'. Справжній вектор етикетки: truel=c(1, 1, 1, 1, 1, …

20 machine-learning  auc 

У мене є сумніви щодо того, який показник продуктивності використовувати, площа під кривою ROC (TPR як функція FPR) або площа під кривою точності відкликання (точність як функція відкликання). Мої дані незбалансовані, тобто кількість негативних випадків значно більша, ніж позитивних. Я використовую вихідне передбачення Weka, зразок: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Я побудував криву ROC для діагностичної системи. Тоді площа під кривою була непараметрично оцінена як AUC = 0,89. Коли я спробував обчислити точність при встановленні оптимального порогового значення (точка, найближча до точки (0, 1)), я отримав точність діагностичної системи 0,8, що менше AUC! Коли я перевірив точність на іншому порозі, …

16 roc  reliability  accuracy  auc 

Чи можуть значення AUC-ROC бути між 0-0,5? Чи модель коли-небудь виводить значення між 0 і 0,5?

16 roc  model-evaluation  auc 

Я експериментую з алгоритмом машини для підвищення градієнта через caretпакет в Р. Використовуючи невеликий набір даних про вступ до коледжу, я застосував такий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Я намагаюся використовувати функцію ' щільності ' в R, щоб робити оцінки щільності ядра. У мене виникають труднощі з інтерпретацією результатів та порівнянням різних наборів даних, оскільки, здається, площа під кривою не обов'язково 1. Для будь-якої функції щільності ймовірностей (pdf) нам потрібно мати область . Я припускаю, що оцінка щільності …

15 r  estimation  pdf  kernel-smoothing  auc 

Я навчив дві моделі (двійкові класифікатори, використовуючи h2o AutoML), і хочу вибрати одну для використання. У мене є такі результати: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 і aucі loglossстовпці - це показники крос-валідації (для перехресної …

15 model-selection  validation  auc  gini  log-loss