Я знаю про регуляризацію типу LASSO, хребет та еластичну сітку в моделях лінійної регресії.

Питання:

1. Чи можна застосувати цей (або подібний) вид пеналізованої оцінки до моделювання ARIMA (з не порожньою частиною МА)?

$p_{max}$$q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$ наприклад, мінімізуючи AIC або AICc . Але чи можна замість цього використовувати регуляризацію?

Мої подальші запитання :

2. Чи можемо ми включати всі терміни до ( , ), але штрафувати розмір коефіцієнтів (можливо, до нуля)? Це має сенс? q m a $p_{max}$$q_{max}$
3. Якщо це було б, чи реалізовано це в R чи іншому програмному забезпеченні? Якщо ні, то в чому біда?

Дещо пов’язаний пост можна знайти тут .

Відповідь на питання 1.

Chen & Chan "Вибір підмножини ARMA за допомогою адаптивного Лассо" (2011) * використовуйте рішення, щоб уникнути обчислювально вимогливої ​​оцінки максимальної вірогідності. Посилаючись на папір, вони

пропонуємо знайти оптимальну модель підмножини ARMA, встановивши адаптивну регресію Лассо часового ряду на власні лаги та залишки, отримані від пристосування тривалої авторегресії до y t s. <...> [У] більш легких умовах регулярності запропонований метод досягає властивостей oracle, а саме він визначає правильну модель підмножини ARMA з ймовірністю, що має тенденцію до одиниці, оскільки розмір вибірки збільшується до нескінченності, і <...> Оцінювачі ненульових коефіцієнтів асимптотично нормальні, а граничне розподіл такий самий, як коли апріорно відомі нульові коефіцієнти.$y_t$$y_t$

За бажанням вони пропонують максимальну оцінку ймовірності та діагностику моделі для вибраних підмножинних моделей ARMA.

Вілмс та ін. "Рідка ідентифікація та оцінка високовимірних векторних авторегресивних рухомих середніх" (2017) роблять навіть більше, ніж я просив. Замість універсальної моделі ARIMA вони беруть векторну ARMA (VARMA) у великих розмірах, і вони використовують $L_1$ штраф для оцінки і лаг вибору замовлення. Вони представляють алгоритм оцінки та розробляють деякі асимптотичні результати.

Зокрема, вони використовують двоетапну процедуру. Розглянемо модель VARMA яку потрібно оцінити, але порядки відставання p і q невідомі.

• На етапі 1 вони наближають модель VARMA за допомогою моделі VAR високого порядку та оцінюють її за допомогою ієрархічного оцінювача VAR, який встановлює ієрархічне покарання групової ласо-групи на відставання за параметрами авторегресії.
  (Для лагового порядку встановлено значення . Модельні рівняння оцінюються спільно, а норма Фробеніуса помилок| | у - у | | F 2 зведениймінімуму з ієрархічним груповий Lasso штрафом на коефіцієнтах регресії). Вони отримують нев'язки е :=у - у , які будуть використовуватисяякості проксі для справжніх помилок в стадії 2.$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• На етапі 2, вони оцінюють модель VARX , де Х являє собою лаг залишки зі стадії 1. Тобто, вони Minic моделі VARMA , але використання оцінками залишків замість справжніх помилок, що дозволяє застосовувати один і той же оцінювач (ієрархічної групи-ласо) знову так само , як в стадії 1 ( р і

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$встановлюється .)$\lfloor 1.5\sqrt{T} \rfloor$

Підхід Вілмса та ін. буде реалізований в R пакет «Bigtime» .

Список літератури

• Chen, K., & Chan, KS (2011). Вибір підмножини ARMA за допомогою адаптивного Lasso. Статистика та її інтерфейс , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). Рідка ідентифікація та оцінка високих розмірних векторних авторегресивних рухомих середніх значень. arXiv передрук arXiv: 1707.09208.

^{* Дякуємо @hejseb за посилання.}