Запитання з тегом «validation»

Я навчив дві моделі (двійкові класифікатори, використовуючи h2o AutoML), і хочу вибрати одну для використання. У мене є такі результати: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 і aucі loglossстовпці - це показники крос-валідації (для перехресної …

15 model-selection  validation  auc  gini  log-loss 

Припустимо, у мене розділився 80/20 між спостереженнями моделювання / валідації. Я встановив модель до набору даних моделювання, і мені подобається помилка, яку я бачу в наборі даних перевірки. Перш ніж я розгорнути свою модель для оцінки майбутніх спостережень, чи доцільно поєднати перевірку з даними моделювання, щоб отримати оновлені оцінки параметрів …

13 regression  predictive-models  validation 

У моїй аудиторії впливу даних обміну даними метод тримання був запроваджений як спосіб оцінки продуктивності моделі. Однак, коли я взяв свій перший клас на лінійних моделях, це не було запроваджено як засіб перевірки чи оцінки моделі. Моє онлайн-дослідження також не показує ніякого перехрестя. Чому метод класифікації не використовується в класичній …

12 regression  validation  model-evaluation  out-of-sample 

Вчорашнє запитання Визначте точність моделі, яка оцінює ймовірність події, мене цікавить оцінка ймовірності. Оцінка Brier - середній показник помилки у квадраті. Чи вимірює аналогічне середнє значення абсолютної похибки маєте також ім’я?1N∑i = 1N( р р е дi c t i o ni- р е фe r e n c ei)21N∑i=1N(prегicтiонi-rеfеrенcеi)2\frac{1}{N}\sum\limits …

12 classification  error  validation  scoring-rules  brier-score 

Який найкращий спосіб розділити дані часових рядів на набори поїздів / випробувань / валідації, де набір перевірки буде використовуватися для налаштування гіперпараметрів? У нас є щоденні дані про продажі на 3 роки, і ми плануємо використовувати 2015-2016 роки в якості навчальних даних, а потім випадковим чином вибирати 10 тижнів із …

12 time-series  cross-validation  validation 

Вибираючи параметр регуляризації лямбда в Ridge або Lasso, рекомендований метод полягає в тому, щоб спробувати різні значення лямбда, виміряти похибку у валідаційному наборі і, нарешті, обрати це значення лямбда, яке повертає найменшу помилку. Мені не чітко, якщо функція f (лямбда) = помилка - опукла. Може так бути? Тобто, чи може …

11 cross-validation  error  regularization  validation  optimization 

Для нестатистів, як я, дуже важко зафіксувати ідею VIметрики (варіації інформації) навіть після прочитання відповідної статті Марини Меліа " Порівняння кластеризації - відстань на основі інформації " (Journal of Multivariate Analysis, 2007). Насправді я не знайомий з багатьма умовами кластеризації там. Нижче наведено MWE, і я хотів би знати, що …

11 r  clustering  validation  intuition 

Мені хотілося б оцінити кілька різних моделей, які забезпечують передбачення поведінки на щомісячному рівні. Дані збалансовані, і 100 000 і T = 12. Результат відвідує концерт у визначеному місяці, тож він дорівнює нулю для ~ 80% людей у ​​будь-якому місяці, але довгий правий хвіст важких користувачів. Прогнози, які я маю, …

11 repeated-measures  predictive-models  stata  panel-data  validation 

Мені було задано таке запитання, як "Ви зробили якусь перевірку послідовності у своїй щоденній роботі?" під час телефонного інтерв'ю на посаду біостатиста. Я не знаю, що відповісти. Будь-яка інформація цінується.

11 validation 

Які статистичні прийоми для створення вибіркового набору, який є репрезентативним для всієї сукупності (з відомим рівнем довіри)? Також, Як перевірити, якщо зразок відповідає загальному набору даних? Чи можливо, без розбору всього набору даних (що може бути мільярдами записів)?

10 sampling  sample-size  validation 

У книзі «Елементи статистичного навчання» (доступна у форматі PDF в Інтернеті) обговорюється оптимістичне зміщення (7.21, стор. 229). Він зазначає, що зміщення оптимізму - це різниця між помилкою тренувань та помилкою у вибірці (помилка, яка спостерігається, якщо ми вибираємо нові значення результатів у кожному з початкових навчальних балів) (на нижче). Далі, …

9 error  bias  validation 

За умови розміру вибірки "N", яку я планую використовувати для прогнозування даних. Які існують способи поділу даних, щоб я використовував деякі для встановлення моделі, а решту даних для перевірки моделі? Я знаю, що на це немає чорно-білої відповіді, але було б цікаво знати деякі "великі правила" або зазвичай використовувані співвідношення. …

9 machine-learning  modeling  sample  validation