AIC проти перехресної перевірки у часових рядах: невеликий зразок зразка

Мене цікавить вибір моделі в налаштуваннях часових рядів. Для конкретності, припустимо, я хочу вибрати модель ARMA з пулу моделей ARMA з різними порядками відставання. Кінцевим наміром є прогнозування .

Вибір моделі може здійснити компанія

1. перехресне підтвердження,
2. використання інформаційних критеріїв (AIC, BIC),

серед інших методів.

Роб Дж. Хайндман пропонує спосіб зробити перехресну перевірку часових рядів . Для відносно невеликих зразків розмір вибірки, використаний у перехресній валідації, може бути якісно іншим, ніж вихідний розмір вибірки. Наприклад, якщо вихідний розмір вибірки становить 200 спостережень, тоді можна подумати про початок перехресної перевірки, взявши перші 101 спостереження та розширивши вікно до 102, 103, ..., 200 спостережень, щоб отримати 100 результатів перехресної перевірки. Зрозуміло, що модель, яка є достатньо парсимонічною для 200 спостережень, може бути занадто великою для 100 спостережень, і, отже, її помилка перевірки буде великою. Таким чином, перехресне підтвердження, ймовірно, систематично віддає перевагу занадто парсимонімним моделям. Це небажаний ефект через невідповідність розмірів вибірки .

Альтернативою перехресній валідації є використання інформаційних критеріїв для вибору моделі. Оскільки я дбаю про прогнозування, я би використовував AIC. Навіть незважаючи на те, що AIC асимптотично еквівалентний мінімізації одношагового прогнозованого одношагового прогнозу MSE для моделей часових рядів (відповідно до цього допису Роб Дж. Хайндманом), я сумніваюся, що це актуально з моменту вибірки розміри, про які я дбаю, не такі великі ...

Запитання: чи слід обрати перехресну валідацію AIC за часовими рядами для малих / середніх зразків?

Кілька пов'язаних питань можна знайти тут , тут і тут .

Беручи до уваги теоретичні міркування, інформаційний критерій Akaike - це просто ймовірність, що карається ступенями свободи. Далі AIC пояснює невизначеність даних ( -2LL ) і робить припущення, що більше параметрів призводить до більш високого ризику перевиконання ( 2k ). Перехресне підтвердження просто враховує ефективність моделі тестового набору, без додаткових припущень.

Якщо ви головним чином дбаєте про те, щоб зробити прогнози, і ви можете припустити, що тестовий набір буде приблизно подібний до реальних даних, вам слід перейти до перехресної перевірки. Можлива проблема полягає в тому, що коли ваші дані невеликі, то, розділяючи їх, ви закінчуєте невеликі навчальні та тестові набори. Менше даних для тренувань є поганим, а менше даних для тестового набору робить результати перехресної перевірки більш невизначеними (див. Varoquaux, 2018 ). Якщо ваш тестовий зразок недостатній, можливо, ви будете змушені використовувати AIC, але маючи на увазі, що він вимірює, і що може зробити припущення, які він робить.

З іншого боку, як уже згадувалося в коментарях, AIC дає вам безсимптомні гарантії, і це не так у маленьких пробах. Невеликі вибірки також можуть вводити в оману щодо невизначеності даних.

Гм - якщо ваша кінцева мета - передбачити, чому ви взагалі збираєтеся робити вибір моделі? Наскільки мені відомо, як у «традиційній» статистичній літературі, так і в машинній літературі добре встановлено, що усереднення моделей є вищим, коли мова йде про прогнозування. Простіше кажучи, усереднення моделей означає, що ви оцінюєте всі правдоподібні моделі, нехай вони всі прогнозують і оцінюють їх прогнози, зважені за відносними доказами моделі.

Корисна посилання для початку - https://journals.sagepub.com/doi/10.1177/0049124104268644

Вони пояснюють це досить просто і посилаються на відповідну літературу.

Сподіваюся, це допомагає.

Моя ідея: зроби і те, і бачиш. Використовувати AIC безпосередньо. Чим менший AIC, тим краще модель. Але не можна залежати від AIC і сказати, що така модель є найкращою. Отже, якщо у вас є пул моделей ARIMA, візьміть кожну і перевірте прогнозування наявних значень і подивіться, яка модель прогнозує найближчі до існуючих даних часових рядів. По-друге, перевірити наявність АПК також, і, розглядаючи обидва, приходьте до вдалого вибору. Не існує жорстких і швидких правил. Просто перейдіть до тієї моделі, яка пророкує найкраще.