Запитання з тегом «cross-validation»

Чому процедура перехресної перевірки долає проблему перевиконання моделі?

34 regression  model-selection  cross-validation 

Це питання може бути занадто відкритим, щоб отримати остаточну відповідь, але, сподіваємось, ні. Алгоритми машинного навчання, такі як SVM, GBM, Random Forest тощо, як правило, мають деякі вільні параметри, які, крім деякого правила керівництва, повинні бути налаштовані на кожен набір даних. Як правило, це робиться за допомогою певної техніки повторного …

34 machine-learning  cross-validation  bootstrap  optimization  resampling 

Нещодавно я натрапив на документ, який пропонує використовувати класифікатор k-NN на певному наборі даних. Автори використовували всі наявні вибірки даних для здійснення k-кратної перехресної перевірки для різних значень k та звітування про результати перехресної перевірки найкращої конфігурації гіперпараметра. Наскільки мені відомо, цей результат є необ'єктивним, і вони повинні були зберегти …

30 cross-validation  references  model-selection  model-evaluation 

Мені сказали, що корисно використовувати стратифіковану перехресну перевірку, особливо коли класи відповідей є неврівноваженими. Якщо одна мета перехресної перевірки - допомогти врахувати випадковість нашого вихідного зразка навчальних даних, то, безумовно, зробити так, щоб кожен складник мав однаковий розподіл класів, буде проти цього, якщо ви не впевнені, що ваш оригінальний навчальний …

29 cross-validation  resampling  stratification 

Я схрещую валідацію моделі, яка намагається передбачити кількість. Якби це була проблема бінарної класифікації, я б обчислював AUC, що перевершується, і якщо це проблема з регресією, я б обчислював RMSE або MAE, що не перевищується. Для моделі Пуассона, які показники помилок можна використовувати для оцінки "точності" позапробних прогнозів? Чи є …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Я намагаюся вивчити різні методи перехресної перевірки, насамперед з наміром застосувати до контрольованих методів багатофакторного аналізу. Два, з якими я стикався, - це методи перехресної перевірки в K-кратному і Монте-Карло. Я читав, що K-кратність - це зміна Монте-Карло, але я не впевнений, що повністю розумію, що складає визначення Монте-Карло. Чи …

29 cross-validation  monte-carlo 

У мене є питання щодо перехресної перевірки. Я в середині курсу машинного навчання на Cursera. Одна з тем про перехресне підтвердження. Мені було важко слідувати. Я точно знаю, навіщо нам потрібне резюме, тому що ми хочемо, щоб наші моделі добре працювали над майбутніми (невідомими) даними, а резюме не дозволяє переробляти. …

29 machine-learning  cross-validation 

Я щойно натрапив на цю статтю , в якій описано, як обчислити повторюваність (він же - надійність, також внутрішньокласова кореляція) вимірювання за допомогою моделювання змішаних ефектів. R-код буде: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Коли я використовую GAM, це дає мені залишковий коефіцієнт DF (останній рядок у коді). Що це означає? Виходячи за приклад GAM, загалом, чи може число ступенів свободи бути нецілим числом?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Загальновідомо, особливо в обробці природними мовами, що машинне навчання повинно триватись у два етапи, етап навчання та етап оцінювання, і вони повинні використовувати різні дані. Чому це? Інтуїтивно цей процес допомагає уникнути перевиконання даних, але я не бачу (інформаційно-теоретичної) причини цього. Крім того, я бачив деякі цифри, кинуті навколо того, …

27 machine-learning  cross-validation 

У класифікації тексту у мене є навчальний набір з приблизно 800 зразками та тестовий набір з приблизно 150 зразками. Тестовий набір ніколи не використовувався і чекав його використання до кінця. Я використовую цілий 800 навчальний набір зразків, з 10-кратним перехресним підтвердженням під час настройки та налаштування класифікаторів та функцій. Це …

27 machine-learning  classification  cross-validation  text-mining 

Перехресна перевірка K-кратна може бути використана для оцінки можливостей узагальнення даного класифікатора. Чи можу я (або я повинен) також обчислити об'єднану дисперсію з усіх циклів перевірки, щоб отримати кращу оцінку її дисперсії? Якщо ні, то чому? Я знайшов документи, які використовують об'єднане стандартне відхилення через крос перехресної перевірки . Я …

27 machine-learning  cross-validation 

У запитанні в іншому місці на цьому веб-сайті кілька відповідей згадували, що АПК еквівалентна перехресній валідації "відхід" (LOO) і що BIC еквівалентна перехресній валідації K-кратного. Чи є спосіб емпірично продемонструвати це в R таким чином, щоб методи, які беруть участь у LOO та K-кратному рівні, були зрозумілі та продемонстровані як …

26 r  aic  cross-validation  bic 

Я розумію, що з перехресною валідацією та вибором моделі ми намагаємось вирішити дві речі: Р1 . Оцініть очікувані втрати для населення під час навчання за нашим зразком Р2 . Виміряйте та повідомляйте про нашу невизначеність цієї оцінки (дисперсія, довірчі інтервали, зміщення тощо) Здається, що стандартна практика полягає в повторній перехресній …

26 estimation  cross-validation  references 

У деяких лекціях та навчальних посібниках, які я бачив, вони пропонують розділити ваші дані на три частини: навчання, перевірку та тест. Але незрозуміло, як слід використовувати тестовий набір даних, ні наскільки цей підхід кращий за перехресну перевірку для всього набору даних. Скажімо, ми зберегли 20% наших даних у вигляді тестового …

25 machine-learning  cross-validation  validation