Запитання з тегом «model-evaluation»

Я часто чую про оцінку ефективності класифікаційної моделі, проводячи тестовий набір і треную модель на навчальному наборі. Потім створимо 2 вектори, один для передбачуваних значень і один для справжніх значень. Очевидно, що порівняння дозволяє судити про ефективність моделі за її прогнозованою силою, використовуючи такі речі, як F-Score, Kappa Statistic, Precision …

10 regression  machine-learning  model-evaluation 

Я працюю над набором даних. Після використання деяких методів ідентифікації моделі я вийшов із моделлю ARIMA (0,2,1). Я використав detectIOфункцію в пакеті TSAв R, щоб виявити інноваційний зовнішній вигляд (IO) під час 48-го спостереження за моїм оригінальним набором даних. Як я включу цей зовнішній вигляд у свою модель, щоб я …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Я працюю над прогнозуванням часових рядів. У мене є два набори даних і . У мене є три моделі прогнозування: . Усі ці моделі навчаються за допомогою зразків у наборі даних , а їх продуктивність вимірюється за допомогою зразків у наборі даних . Скажімо, показники ефективності - MSE (або що-небудь …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

В основному, існує два поширених способи навчитися проти величезних наборів даних (коли ви стикаєтесь із обмеженнями часу та простору): Обман :) - використовуйте просто "керований" підмножину для тренувань. Втрата точності може бути незначною через закон зменшення віддачі - прогнозована ефективність моделі часто вирівнюється задовго до того, як у неї будуть …

10 machine-learning  large-data  model-evaluation  train 

Я хочу перевірити деякі свої ідеї, які, на мою думку, кращі за все, що я бачив. Я можу помилятися, але я хотів би перевірити свої ідеї і перемогти свої сумніви більш певними спостереженнями. Що я думав зробити, це наступне: Аналітично визначте набір розподілів. Деякі з них є такими легкими, як …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

У мене є динамічна модель наївних баєсів, що навчається на кількох часових змінних. Результатом моделі є прогнозування P(Event) @ t+1, оцінене на кожній t. Діаграма P(Event)порівняння timeнаведена на малюнку нижче. На цій фігурі чорна лінія відображається так, P(Event)як передбачила моя модель; горизонтальна червона лінія представляє собою попереднє ймовірність того, що …

9 time-series  probability  prediction  model-comparison  model-evaluation 

У мене є дані з 2-класовим маркуванням, за якими я здійснюю класифікацію, використовуючи кілька класифікаторів. А набори даних добре збалансовані. Оцінюючи ефективність класифікаторів, я повинен враховувати, наскільки точний класифікатор у визначенні не тільки справжніх позитивних, але й справжніх негативів. Тому, якщо я буду використовувати точність, і якщо класифікатор схильний до …

9 classification  roc  model-evaluation  sensitivity-specificity 

У моїх даних, у мене є змінна класу, позначена як . Значення змінної цього класу становлять (двійкові). Практично всі спостереження мають 0 (близько 100%, точніше, 97%). Мені б хотілося "тестування" продуктивності на різних моделях класифікації (це може бути точність). Мені страшно траплятися, що якщо у мене є класифікаційна модель, яка …

9 classification  binary-data  model-evaluation 

Зараз я працюю над деякими даними часових рядів, я знаю, що можу використовувати модель LOESS / ARIMA. Дані записуються у вектор, довжина якого 1000, що є чергою, оновлюючись кожні 15 хвилин, Таким чином, старі дані вискакують, коли нові дані просуваються у вектор. Я можу повторно запустити всю модель на планувальнику, …

9 time-series  model-evaluation