Запитання з тегом «validation»

Я вважав це заплутаним, коли використовую панель інструментів нейронної мережі в Matlab. Він розділив набір необроблених даних на три частини: навчальний набір набір перевірки тестовий набір Я помічаю в багатьох алгоритмах навчання або навчання, дані часто діляться на 2 частини, навчальний набір і тестовий набір. Мої запитання: Яка різниця між …

431 machine-learning  validation 

Мені здається, що перевірка на витримку марна. Тобто, розділяти початковий набір даних на дві частини (навчання та тестування) та використовувати бал тестування як міру узагальнення, є дещо марним. Перехресна перевірка K-кратна, здається, дає кращі наближення до узагальнення (оскільки вона проводить тренування та тестує кожну точку). Отже, чому б ми використовували …

54 machine-learning  cross-validation  validation 

"Великі дані" є скрізь у ЗМІ. Всі кажуть, що "великі дані" - це найбільша річ у 2012 році, наприклад, опитування KDNuggets на гарячі теми 2012 року . Однак у мене тут є глибокі занепокоєння. Маючи великі дані, всі, здається, щасливі лише отримати щось . Але чи не ми порушуємо всі …

40 data-mining  dataset  large-data  validation 

Однією з найбільш важливих проблем кластерного аналізу є те, що, можливо, нам доведеться робити різні висновки, коли базуватися на різних методах кластеризації (включаючи різні методи зв’язку в ієрархічній кластеризації). Мені хотілося б дізнатися вашу думку з цього приводу - який метод ви виберете та як. Можна сказати, «найкращий метод кластеризації …

35 clustering  validation  model-evaluation  hierarchical-clustering 

У деяких лекціях та навчальних посібниках, які я бачив, вони пропонують розділити ваші дані на три частини: навчання, перевірку та тест. Але незрозуміло, як слід використовувати тестовий набір даних, ні наскільки цей підхід кращий за перехресну перевірку для всього набору даних. Скажімо, ми зберегли 20% наших даних у вигляді тестового …

25 machine-learning  cross-validation  validation 

Припустимо, я тренував кілька моделей на навчальному наборі, вибирав найкращу, використовуючи набір перехресних перевірок і вимірював продуктивність на тестовому наборі. Тож тепер у мене є одна остаточна найкраща модель. Чи повинен я перекваліфікувати його на всіх своїх наявних даних або на суднових рішеннях, що навчаються лише на навчальному наборі? Якщо …

23 machine-learning  validation  regression-strategies 

Оскільки наука повинна бути відтвореною, за визначенням зростає визнання того, що дані та код є важливим компонентом відтворюваності, про що йдеться в Єльському круглому столі для обміну даними та кодом . Переглядаючи рукопис журналу, який не потребує обміну даними та кодом, чи можу я вимагати надання даних та коду доступними …

23 dataset  validation  reproducible-research  journals 

Я читав про перевірку k-fold, і хочу переконатися, що я розумію, як це працює. Я знаю, що для методу тримання дані розбиваються на три набори, а тестовий набір використовується лише в самому кінці для оцінки продуктивності моделі, тоді як набір перевірки використовується для настройки гіперпараметрів тощо. У методі k-fold ми …

21 cross-validation  validation  out-of-sample 

Я знаю, що здійснення настроювання гіперпараметрів поза перехресної перевірки може призвести до упереджених високих оцінок зовнішньої дійсності, тому що набір даних, який ви використовуєте для вимірювання продуктивності, той самий, який ви використовували для налаштування функцій. Мені цікаво, наскільки ця проблема погана . Я можу зрозуміти, як це було б по-справжньому …

20 cross-validation  validation  hyperparameter 

Я багато часу приділяв розробці методів та програмного забезпечення для перевірки прогнозних моделей у традиційній періодичній статистиці. Втілюючи в життя більше ідей Баєса, я бачу деякі ключові відмінності. По-перше, байєсівське прогностичне моделювання просить аналітика подумати над попередніми розподілами, які можуть бути налаштовані під особливості кандидата, і ці пріори підтягнуть модель …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

По-перше, він дає ймовірність результатів. Так, наприклад, зараз його прогнози щодо виборів у США - 82% Клінтон проти 18% Трампа. Тепер, навіть якщо Трамп перемагає, то як я можу знати, що він виграв не лише 18% часу? Інша проблема полягає в тому, що його ймовірності змінюються з часом. Тож 31 …

19 forecasting  prediction  validation  accuracy  scoring-rules 

У Scikit є CalibratedClassifierCV , що дозволяє нам калібрувати наші моделі на певній парі X, y. Він також чітко стверджує, щоdata for fitting the classifier and for calibrating it must be disjoint. Якщо вони повинні бути непересічними, чи законно навчати класифікатора наступним чином? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Я побоююся, …

16 cross-validation  scikit-learn  validation  train  calibration 

Я розумію міркування щодо розділення даних на тестовий набір і набір перевірки. Я також розумію, що розмір розбиття буде залежати від ситуації, але, як правило, коливатиметься від 50/50 до 90/10. Я побудував RNN, щоб виправити написання і почати з набору даних ~ 5м речень. Я голю 500k речень, а потім …

15 machine-learning  neural-networks  validation 

Перестановочні тести (також називаються тестом рандомизації, тестом на повторну рандомізацію або точним тестом) дуже корисні і корисні, коли припущення про нормальний розподіл, необхідне, наприклад, t-testне виконується, і при перетворенні значень за ранжуванням непараметричний тест, як-от Mann-Whitney-U-test, призведе до втрати більше інформації. Однак одне і єдине припущення не слід оминути увагою …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

«Перевірка завантажувального завантаження» / «переспромінення перехресної перевірки» є для мене новим, але обговорювалося у відповіді на це питання . Я збираю, що це включає 2 типи даних: реальні дані та змодельовані дані, де заданий набір модельованих даних генерується з реальних даних шляхом перекомпонування з заміною, поки змодельовані дані не мають …

15 cross-validation  bootstrap  validation  resampling