Запитання з тегом «roc»

Це запитання стосується оцінки бальних результатів у багатовимірному скринінг-анкеті для прогнозування бінарної кінцевої точки за наявності корельованих шкал. Мене запитали про зацікавленість контролю за супутніми підрезультатами при розробці показників обрізання за кожним виміром шкали вимірювання (особистісних рис), які можуть бути використані для обстеження на алкоголізм. Тобто в цьому конкретному випадку …

20 epidemiology  roc 

Я щойно закінчив читати цю дискусію. Вони стверджують, що PR AUC кращий за RUC AUC на незбалансованому наборі даних. Наприклад, у нас є 10 зразків тестових наборів даних. 9 зразків є позитивними та 1 - негативними. У нас є жахлива модель, яка прогнозує все позитивне. Таким чином, ми матимемо метрику, …

18 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Чи може хто-небудь, будь ласка, пояснити мені реальну різницю між регресійним аналізом та приміркою кривої (лінійною та нелінійною), якщо це можливо? Схоже, що обидва намагаються знайти залежність між двома змінними (залежною від незалежної), а потім визначити параметр (або коефіцієнт), пов'язаний із запропонованими моделями. Наприклад, якщо у мене є набір даних, …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Правильне бальне оцінювання - це правило, яке максимально реалізується "справжньою" моделлю, і воно не дозволяє "хеджувати" або грати в систему (свідомо повідомляти про різні результати, як це справжня віра моделі для покращення балів). Оцінка Brier належна, точність (правильно класифікована пропорція) є неправильною і часто не рекомендується. Іноді я бачу, що …

16 classification  references  roc  measurement-error  scoring-rules 

У мене є сумніви щодо того, який показник продуктивності використовувати, площа під кривою ROC (TPR як функція FPR) або площа під кривою точності відкликання (точність як функція відкликання). Мої дані незбалансовані, тобто кількість негативних випадків значно більша, ніж позитивних. Я використовую вихідне передбачення Weka, зразок: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Я побудував криву ROC для діагностичної системи. Тоді площа під кривою була непараметрично оцінена як AUC = 0,89. Коли я спробував обчислити точність при встановленні оптимального порогового значення (точка, найближча до точки (0, 1)), я отримав точність діагностичної системи 0,8, що менше AUC! Коли я перевірив точність на іншому порозі, …

16 roc  reliability  accuracy  auc 

Чи можуть значення AUC-ROC бути між 0-0,5? Чи модель коли-небудь виводить значення між 0 і 0,5?

16 roc  model-evaluation  auc 

Я експериментую з алгоритмом машини для підвищення градієнта через caretпакет в Р. Використовуючи невеликий набір даних про вступ до коледжу, я застосував такий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Я вивчаю курс машинного навчання, а слайди лекцій містять інформацію, що мені суперечить рекомендованій книзі. Проблема полягає в наступному: є три класифікатори: класифікатор A, що забезпечує кращі показники роботи в нижньому діапазоні порогів, класифікатор B, що забезпечує більш високу продуктивність у більш високому діапазоні порогів, класифікатор C, що ми отримуємо, …

15 machine-learning  probability  data-visualization  classification  roc 

Припустимо, я побудував модель прогнозування виникнення певної хвороби в одному наборі даних (набір даних щодо побудови моделі) і тепер хочу перевірити, наскільки добре працює модель у новому наборі даних (валідація даних). Для моделі, побудованої з логістичною регресією, я обчислював би прогнозовану ймовірність для кожної людини в наборі даних перевірки на …

15 predictive-models  cross-validation  survival  roc 

Які переваги кривих ROC? Наприклад, я класифікую деякі зображення, що є проблемою бінарної класифікації. Я вилучив близько 500 функцій і застосував алгоритм вибору функцій для вибору набору функцій, потім застосував SVM для класифікації. Як у цьому випадку я можу отримати криву ROC? Чи слід змінювати порогові значення мого алгоритму вибору …

15 machine-learning  roc 

Я планую використовувати повторну (10 разів) стратифіковану 10-кратну перехресну перевірку приблизно на 10000 випадків за допомогою алгоритму машинного навчання. Кожен раз, коли повторення буде проводитися з різними випадковими насінням. У цьому процесі я створюю 10 екземплярів оцінки ймовірностей для кожного випадку. 1 екземпляр оцінки ймовірності для кожного з 10 повторень …

15 roc 

У мене є тестовий набір із 100 випадків та два класифікатори. Я генерував прогнози та обчислював RUC AUC, чутливість та специфічність для обох класифікаторів. Питання 1: Як я можу обчислити p-значення, щоб перевірити, чи є одна значно краща за іншу стосовно всіх балів (ROC AUC, чутливість, специфічність)? Тепер для одного …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Я застосував логістичну регресію до своїх даних щодо SAS, і ось таблиця кривих і класифікація ROC. Мені подобається цифри в таблиці класифікації, але не зовсім впевнені, що показує крива roc та площа під нею. Будь-яке пояснення буде дуже вдячне.

14 regression  logistic  classification  roc 

Я намагаюся зрозуміти, як обчислити оптимальну точку зрізу для кривої ROC (значення, при якому чутливість та специфічність максимізовані). Я використовую набір даних aSAHіз пакету pROC. outcomeЗмінна може бути пояснено двома незалежними змінними: s100bі ndka. Використовуючи синтаксис Epiпакета, я створив дві моделі: library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) Результат проілюстрований на …

14 r  roc  sensitivity-analysis  sensitivity-specificity