Запитання з тегом «auc»

F1 бал - це гармонійне середнє значення точності та відкликання. Вісь y відкликання - це справжня позитивна швидкість (яка також є відкликанням). Отже, колись класифікатори можуть мати низький рівень виклику, але дуже високий AUC, що це означає? Які відмінності між AUC та F1-балом?

14 machine-learning  precision-recall  auc  accuracy 

Конкуренція Kaggle Безпечний прогноз водія Porto Seguro використовує нормований показник Джині в якості метрики оцінювання, і це мене зацікавило причин такого вибору. Які переваги використання нормалізованої оцінки джині замість найбільш звичайних показників, таких як AUC, для оцінки?

14 classification  auc  model-evaluation  gini 

У мене є тестовий набір із 100 випадків та два класифікатори. Я генерував прогнози та обчислював RUC AUC, чутливість та специфічність для обох класифікаторів. Питання 1: Як я можу обчислити p-значення, щоб перевірити, чи є одна значно краща за іншу стосовно всіх балів (ROC AUC, чутливість, специфічність)? Тепер для одного …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Чому область під кривою ROC вірогідність того, що класифікатор класифікує випадково вибраний "позитивний" екземпляр (із отриманих прогнозів) вище, ніж випадково обраний "позитивний" (від початкового позитивного класу)? Як можна довести це твердження математично, використовуючи інтеграл, даючи CDF та PDF справжнього розподілу класів на позитивні та негативні?

14 probability  roc  auc 

З огляду на набір даних із двійковими результатами та деякою матрицею провідників , стандартна модель логістичної регресії оцінює коефіцієнти які максимально збільшують біноміальну ймовірність. Коли повний ранг є унікальним; коли ідеального поділу немає, воно є кінцевим.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Чи ця модель максимальної ймовірності також максимізує AUC ROC (він же -статистичний), чи …

13 logistic  maximum-likelihood  auc 

Однією загальною мірою, яка використовується для порівняння двох або більше моделей класифікації, є використання площі під кривою ROC (AUC) як спосіб опосередкованої оцінки їх ефективності. У цьому випадку модель з більшою AUC зазвичай трактується як краща, ніж модель з меншою AUC. Але, за даними Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), коли …

13 machine-learning  classification  roc  auc  model-evaluation 

Коли ми оцінюємо якість випадкового лісу, наприклад, використовуючи AUC, чи є більш доцільним обчислити ці величини за зразками з мішків або над набором перехресних перевірок? Я чую, що обчислення його через зразки OOB дає більш песимістичну оцінку, але не розумію, чому.

13 cross-validation  random-forest  auc 

У машинному навчанні ми можемо використовувати область під кривою ROC (часто скорочено AUC або AUROC), щоб підсумувати, наскільки добре система може розрізняти дві категорії. У теорії виявлення сигналу часто (індекс чутливості) використовується з подібною метою. Обидва тісно пов'язані між собою, і я вважаю, що вони рівноцінні один одному, якщо певні …

13 machine-learning  roc  auc  signal-detection  d-prime 

Я натрапляю на коефіцієнт кістки для подібності обсягу ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) та точності ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Мені здається, що ці два заходи однакові. Будь-які думки?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Я підходив до своєї моделі і намагаюся зрозуміти, чи корисна вона. Я розраховував рекомендовані показники для його оцінки ( R2R2R^2 / AUC / точність / помилка передбачення / тощо), але не знаю, як їх інтерпретувати. Коротше кажучи, як я можу сказати, чи базується моя модель на основі метрики? Чи достатньо …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Я виконую завдання бінарної класифікації, коли ймовірність результату є досить низькою (близько 3%). Я намагаюся вирішити, чи оптимізувати AUC чи втрату журналу. Наскільки я зрозумів, AUC максимізує здатність моделі розрізняти класи, в той час як logloss карає розбіжність між фактичними та оціненими ймовірностями. У моєму завданні надзвичайно важливо відточити точність …

12 classification  binary-data  auc  log-loss 

У мене є проблема бінарної класифікації, і я експериментую на ній з різними класифікаторами: я хочу порівняти класифікатори. який з них є кращим показником AUC або точності? І чому? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Оскільки у мене дуже незбалансований набір даних (9% позитивних результатів), я вирішив, що крива точності відкликання була більш підходящою, ніж крива ROC. Я отримав аналогічну підсумкову оцінку площі під кривою PR (.49, якщо вас цікавить), але не знаю, як її інтерпретувати. Я чув, що .8 або вище - це хороший …

11 classification  precision-recall  auc 

Я читав цей підпис у папері і ніколи більше не бачив AUC, описаного таким чином. Це правда? Чи є доказ чи простий спосіб це побачити? На рис. 2 показана точність прогнозування дихотомічних змінних, виражена у частині площі під кривою функціонування приймача (AUC), що еквівалентно ймовірності правильного класифікації двох випадково вибраних …

11 classification  roc  auc