Запитання з тегом «model-selection»

Чи є якісь емпіричні дослідження, що виправдовують використання одного стандартного правила помилки на користь парсингу? Очевидно, це залежить від процесу генерації даних, але все, що аналізує великий масив наборів даних, було б дуже цікавим. "Одне стандартне правило помилки" застосовується під час вибору моделей за допомогою перехресної перевірки (або більш загально …

39 cross-validation  model-selection  regularization 

Я порахував AIC та AICc для порівняння двох загальних лінійних змішаних моделей; AIC є позитивними, коли модель 1 має нижчий AIC, ніж модель 2. Однак значення AICc є і негативними (модель 1 все ще <модель 2). Чи правильно використовувати та порівнювати негативні значення AICc?

39 mixed-model  model-selection  aic 

При використанні перехресної перевірки для вибору моделі (наприклад, настройка гіперпараметрів) та для оцінки продуктивності найкращої моделі слід використовувати вкладену перехресну перевірку . Зовнішня петля - це оцінювати продуктивність моделі, а внутрішня - вибрати найкращу модель; модель вибирається на кожному зовнішньому тренувальному наборі (використовуючи внутрішній цикл резюме) і його продуктивність вимірюється …

36 cross-validation  model-selection  ridge-regression 

В даний час я працюю над створенням моделі з використанням множинної лінійної регресії. Після познайомлення зі своєю моделлю я не знаю, як найкраще визначити, які змінні зберігати, а які видалити. Моя модель розпочалася з 10 прогнозів для DV. При використанні всіх 10 предикторів чотири вважалися значущими. Якщо я видалю лише …

35 regression  multiple-regression  feature-selection  modeling  model-selection 

Я бачив тут декілька запитань щодо того, що це означає в простому розумінні, але це занадто непросто для моєї мети. Я намагаюся математично зрозуміти, що означає оцінка AIC. Але в той же час я не хочу жорсткого доказу, який би змусив мене не бачити більш важливих моментів. Наприклад, якби це …

34 self-study  model-selection  aic  entropy  information-theory 

У CrossValided є численні теми на тему вибору моделі та перехресної перевірки. Ось декілька: Внутрішня та зовнішня перехресна перевірка та вибір моделі @ Найвища відповідь DikranMarsupial на вибір функції та перехресну перевірку Однак відповіді на ці теми є досить загальними і здебільшого висвітлюють питання з особливими підходами до перехресної валідації …

34 cross-validation  model-selection 

Чому процедура перехресної перевірки долає проблему перевиконання моделі?

34 regression  model-selection  cross-validation 

Мені цікаво , повторюваних процедур , які можуть бути використані , щоб виявити функціональну форму функції , y = f(A, B, C) + error_termде мій єдиний вхід безліч спостережень ( y, A, Bі C). Зверніть увагу, що функціональна форма fневідома. Розглянемо наступний набір даних: AA BB CC DD EE FF …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Я розумію, що таке задній прогнозний розподіл , і я читав про задні передбачувальні перевірки , хоча мені ще не ясно, що він робить. Що саме є задній прогностичний чек? Чому деякі автори кажуть, що проведення задніх прогнозних перевірок "використовує дані двічі" і не слід ними зловживати? (або навіть, що …

33 bayesian  model-selection  posterior 

Я, як правило, використовую BIC, оскільки я розумію, що він оцінює парність сильніше, ніж AIC. Однак я вирішив зараз використовувати більш комплексний підхід і хотів би також використовувати AIC. Я знаю, що Raftery (1995) представив приємні вказівки щодо відмінностей BIC: 0-2 є слабким, 2-4 - позитивним доказом того, що одна …

32 r  model-selection  references  aic  bic 

Просто думка: Парсимоніальні моделі завжди були типовим методом вибору моделі, але наскільки цей підхід застарів? Мені цікаво, наскільки наша тенденція до парсингу - це пережиток часу правил abaci і slide (або, що серйозніше, не сучасних комп'ютерів). Сьогоднішня обчислювальна потужність дозволяє нам будувати все більш складні моделі з все більшою здатністю …

31 predictive-models  model-selection  model 

Чи можна обчислити значення AIC або BIC для регресійних моделей ласо та інших регульованих моделей, де параметри лише частково вводяться в рівняння. Як можна визначити ступеня свободи? Я використовую R для підключення регресійних моделей ласо з glmnet()функцією з glmnetпакету, і я хотів би знати, як обчислити значення AIC та BIC …

31 r  model-selection  lasso  aic  bic 

Нещодавно я натрапив на документ, який пропонує використовувати класифікатор k-NN на певному наборі даних. Автори використовували всі наявні вибірки даних для здійснення k-кратної перехресної перевірки для різних значень k та звітування про результати перехресної перевірки найкращої конфігурації гіперпараметра. Наскільки мені відомо, цей результат є необ'єктивним, і вони повинні були зберегти …

30 cross-validation  references  model-selection  model-evaluation 

Для LASSO (та інших процедур вибору моделі) дуже важливо змінити масштаби прогнозів. Загальна рекомендація я дотримуюся просто використовувати 0, 1 середнє стандартне відхилення нормалізації для безперервних змінних. Але що тут робити з манекенами? Наприклад, кілька прикладних прикладів тієї ж (чудової) літньої школи, яку я пов’язував із перерахунком змінних безперервних змінних, …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Як ви вибираєте модель серед різних моделей, вибраних різними методами (наприклад, вибір назад або вперед)? Також що таке парсимонійна модель?

28 regression  model-selection