Запитання з тегом «cross-validation»

Розбиваючи свої мічені дані на навчальні, перевірочні та тестові набори, я почув все від 50/25/25 до 85/5/10. Я впевнений, що це залежить від того, як ви збираєтеся використовувати свою модель і наскільки схильний до переналагодження вашого алгоритму навчання. Чи є спосіб вирішити чи це все за правилом? Навіть ELSII здається …

10 machine-learning  cross-validation 

У мене є GLMM форми: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Під час використання drop1(model, test="Chi")я отримую інші результати, ніж якщо я використовую Anova(model, type="III")з автомобільного пакета або summary(model). Ці два останні дають однакові відповіді. Використовуючи купу сфабрикованих даних, я виявив, що …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

З огляду на множину перехресних перевірок логістичної регресії та отримані множинні оцінки кожного коефіцієнта регресії, як слід вимірювати, чи є прогноктор (чи набір предикторів) стійким та значущим на основі коефіцієнтів (ів) регресії ? Чи відрізняється це від лінійної регресії?

10 regression  model-selection  cross-validation 

У мене є набір даних з приблизно 70 змінними, які я хотів би скоротити. Що я хочу зробити, це використовувати CV для пошуку найбільш корисних змінних у наступний спосіб. 1) Випадково виберіть скажімо 20 змінних. 2) Використовуйте stepwise/ LASSO/ lars/ тощо, щоб вибрати найбільш важливі змінні. 3) Повторіть ~ 50x …

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

Хтось знає хорошу книгу / веб-сторінку, щоб почати вивчати методи перехресної перевірки?

10 references  cross-validation 

Функція R cv.glm (бібліотека: завантаження) обчислює оцінену помилку передбачення перехресної перевірки K-кратного для узагальнених лінійних моделей і повертає дельту. Чи є сенс використовувати цю функцію для регресії ласо (бібліотека: glmnet), і якщо так, то як це можна виконати? Бібліотека glmnet використовує перехресну перевірку, щоб отримати найкращий параметр повороту, але я …

10 r  regression  cross-validation  lasso  glmnet 

Я часто бачу людей, які говорять про перехресну перевірку 5x2 як про особливий випадок вкладеної перехресної перевірки . Я припускаю, що перше число (тут: 5) стосується кількості складок у внутрішній петлі, а друге число (тут: 2) стосується кількості складок у зовнішній петлі? Отже, чим це відрізняється від "традиційного" підбору моделі …

10 machine-learning  cross-validation  hyperparameter 

Я намагаюся зрозуміти, чи правильно я розумію вкладені перехресні перевірки, тому я написав цей приклад іграшки, щоб побачити, чи маю рацію: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 # load boston dataset …

10 cross-validation  python  scikit-learn 

Я намагаюся вписати в R дискретний час модель, але не знаю, як це зробити. Я читав, що ви можете організувати залежну змінну в різні рядки, по одній для кожного часу спостереження, і використовувати glmфункцію за допомогою посилання logit або cloglog. У цьому сенсі, у мене є три колонки: ID, Event(1 …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Мої запитання стосуються GAM в пакеті mgcv R. Через невеликий розмір вибірки я хочу визначити помилку передбачення за допомогою перехресної валідації "вихід-один-вихід". Це розумно? Чи є пакет або код, як я можу це зробити? errorest()Функція в ipred пакеті не працює. Простий набір тестів: library(mgcv) set.seed(0) dat <- gamSim(1,n=400,dist="normal",scale=2) b<-gam(y~s(x0)+s(x1)+s(x2)+s(x3),data=dat) summary(b) …

10 r  cross-validation  gam  mgcv 

Чи оцінюються стандартні відхилення за допомогою: sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. ( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation ) для точності прогнозування, відібраної з 10-кратної перехресної перевірки? Мене турбує, що точність прогнозування, обчислена між кожною складовою, залежить від значного перекриття між тренувальними наборами (хоча набори прогнозування не залежать). Будь-які ресурси, які обговорюють …

10 confidence-interval  cross-validation  prediction  prediction-interval 

У більшості ситуацій ми маємо справу лише з однією змінною результату / відповіді, такою як . Однак у деяких сценаріях, особливо у клінічних даних, змінні результату можуть бути високомірними / багатоваріантними. Такі , як , де містить , і змінних і ці результати все корельовані. Якщо являє собою лікування (так …

10 r  cross-validation 

Я використовую 2 різновиди логістичної регресії - один - простий тип, для двійкової класифікації, а другий - порядковий логістичний регрес. Для обчислення точності першого я використовував перехресну перевірку, де я обчислював AUC для кожної складки і ніж обчислював середнє AUC. Як я можу це зробити для звичайної логістичної регресії? Я …

10 logistic  cross-validation  roc  auc  ordered-logit 

Під час виконання 5-кратної перехресної валідації (наприклад), типово обчислювати окрему криву ROC для кожної з 5-ти кратних і часто разів середньої кривої ROC з std. дев. показано у вигляді товщини кривої. Однак для перехресної перевірки LOO, де у кожній складці є лише одна тестова точка даних, не представляється сенсом обчислити …

10 cross-validation  roc 

Я реалізую перехресну перевірку та обчислення показників помилок, таких як RMSE, R2R2R^2, MAE, MSE тощо. Чи можуть RMSE та MAE мати однакове значення?

9 cross-validation  rms  mae