Запитання з тегом «scoring-rules»

Це загальне запитання, яке тут задавали побічно багато разів, але на нього немає однозначної відповіді. Було б чудово отримати детальну відповідь на це для довідки. Точність , частка правильних класифікацій серед усіх класифікацій є дуже простою та дуже "інтуїтивно зрозумілою" мірою, проте вона може бути поганою мірою для незбалансованих даних …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Останнім часом я багато думав про "проблему дисбалансу класів" у машино-статистичному навчанні, і все глибше втягуюсь у відчуття, що просто не розумію, що відбувається. Спершу дозвольте мені визначити (або спробувати) визначити свої умови: Проблема дисбалансу класів у машинному / статистичному навчанні полягає в тому, що деякі алгоритми бінарної класифікації (*) …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Я схрещую валідацію моделі, яка намагається передбачити кількість. Якби це була проблема бінарної класифікації, я б обчислював AUC, що перевершується, і якщо це проблема з регресією, я б обчислював RMSE або MAE, що не перевищується. Для моделі Пуассона, які показники помилок можна використовувати для оцінки "точності" позапробних прогнозів? Чи є …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) пишуть: Для формального визначення правильного бального правила нехай - імовірнісний прогноз випробування Бернуллі d з істинною ймовірністю успіху p . Правильні правила балів - це показники, очікувані значення яких мінімізовано, якщо f = p .fffггdpppf= рf=pf = p Я вважаю, що це добре, тому що ми …

27 classification  forecasting  scoring-rules 

Нещодавно я завершив змагання з Kaggle, в якому оцінку roc auc використовували згідно вимог змагань. Перед цим проектом я зазвичай використовував показник f1 як показник для вимірювання продуктивності моделі. Ідучи вперед, мені цікаво, як мені вибрати між цими двома показниками? Коли використовувати які та які їх плюси і мінуси? До …

26 machine-learning  modeling  roc  scoring-rules 

Більшість ресурсів на правильних правилах балів згадує низку різних правил скорингу, такі як втрата журналу, оцінка Brier або сферичне оцінювання. Однак вони часто не дають великих рекомендацій щодо відмінностей між ними. (Виставка А: Вікіпедія .) Вибір моделі, яка максимально збільшує логарифмічну оцінку, відповідає вибору моделі максимальної ймовірності, що здається хорошим …

22 machine-learning  classification  model-selection  theory  scoring-rules 

По-перше, він дає ймовірність результатів. Так, наприклад, зараз його прогнози щодо виборів у США - 82% Клінтон проти 18% Трампа. Тепер, навіть якщо Трамп перемагає, то як я можу знати, що він виграв не лише 18% часу? Інша проблема полягає в тому, що його ймовірності змінюються з часом. Тож 31 …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Правильне бальне оцінювання - це правило, яке максимально реалізується "справжньою" моделлю, і воно не дозволяє "хеджувати" або грати в систему (свідомо повідомляти про різні результати, як це справжня віра моделі для покращення балів). Оцінка Brier належна, точність (правильно класифікована пропорція) є неправильною і часто не рекомендується. Іноді я бачу, що …

16 classification  references  roc  measurement-error  scoring-rules 

Нещодавно я дізнався про правильні правила зарахування імовірнісних класифікаторів. Кілька ниток на цьому веб-сайті підкреслили, що точність - це неправильне оцінювальне правило, і його не слід використовувати для оцінки якості прогнозів, породжених ймовірнісною моделлю, такою як логістична регресія. Однак чимало академічних робіт, які я прочитав, дали втрати внаслідок неправильної класифікації …

13 probability  accuracy  scoring-rules 

Передумови: Тут є кілька чудових питань / відповідей щодо того, як відкалібрувати моделі, які прогнозують ймовірність того, що результат відбудеться. Наприклад Шкала барію та його розкладання на роздільну здатність, невизначеність та надійність . Калібрувальні графіки та ізотонічна регресія . Ці методи часто вимагають використання методу бінінгу за передбачуваними ймовірностями, так …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Вчорашнє запитання Визначте точність моделі, яка оцінює ймовірність події, мене цікавить оцінка ймовірності. Оцінка Brier - середній показник помилки у квадраті. Чи вимірює аналогічне середнє значення абсолютної похибки маєте також ім’я?1N∑i = 1N( р р е дi c t i o ni- р е фe r e n c ei)21N∑i=1N(prегicтiонi-rеfеrенcеi)2\frac{1}{N}\sum\limits …

12 classification  error  validation  scoring-rules  brier-score 

Я моделюю подію з двома результатами, a і b. Я створив модель, яка оцінює ймовірність того, що відбудеться або a, або b (тобто модель обчислить, що a відбудеться з 40% шансом, а b відбудеться з 60% шансом). Я маю великий запис результатів випробувань із оцінками моделі. Я хотів би оцінити, …

12 predictive-models  scoring-rules 

Я програмую і займаюся тестовими розробками. Після того, як я змінив код, я запускаю свої тести. Іноді вони досягають успіху, а іноді - невдачі. Перед тим, як запустити тест, я записую число від 0,01 до 0,99, щоб переконатися, що тест буде успішним. Хочу знати, чи вдосконалююсь я передбачуючи, чи вдасться …

10 forecasting  decision-theory  calibration  scoring-rules 

Приклади: у мене є речення в описі посади: "Старший інженер Java у Великобританії". Я хочу використовувати модель глибокого навчання, щоб передбачити її як 2 категорії: English і IT jobs. Якщо я використовую традиційну модель класифікації, вона може передбачити лише 1 мітку з softmaxфункцією на останньому шарі. Таким чином, я можу …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Типовим підходом до вирішення проблеми класифікації є визначення класу кандидатних моделей, а потім проведення вибору моделі за допомогою певної процедури, наприклад перехресної перевірки. Зазвичай вибирають модель з найбільшою точністю або якусь пов'язану функцію, що кодує конкретну інформацію про проблему, наприклад .FβFβ\text{F}_\beta Припустимо, що кінцевою метою є створення точного класифікатора (де …

9 machine-learning  model-selection  error  scoring-rules