Налаштування порядку відставання?

Припустимо, у мене є поздовжні дані форми $\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$(У мене є кілька спостережень, це просто форма єдиного). Мене цікавлять обмеження щодо$\Sigma$. Без обмежень$\Sigma$ еквівалентно прийому

Зазвичай це не робиться, оскільки це вимагає оцінки $O(J^2)$параметри коваріації. Модель "lag-$k$"якщо ми візьмемо

Те, що я дуже хотів би зробити, - це використовувати якусь ідею усадки, щоб звести нанівець деякі з них $\phi_{\ell j}$, як LASSO. Але річ у тому, що я також хотів би, щоб метод, який я використовую, віддав перевагу моделям, які відстають -$k$ для деяких $k$; Я б хотів штрафувати відставання вищого порядку більше, ніж відставання нижчого порядку. Я думаю, що це ми особливо хотіли б зробити, враховуючи, що прогнози сильно корелюються.

Додатковим питанням є те, що якщо (скажімо) $\phi_{35}$ скорочується до $0$ Я також хотів би, якби $\phi_{36}$ скорочується до $0$, тобто однаковий відставання використовується у всіх умовних розподілах.

Я міг би спекулювати на цьому, але не хочу винаходити колесо. Чи є якісь методи LASSO, розроблені для вирішення подібних проблем? Невже мені краще повністю робити щось інше, як поетапне включення лагових замовлень? Оскільки мій простір моделі невеликий, я навіть міг би використовувати an$L_0$ пені за цю проблему, гадаю?

Ви можете зробити перехресну перевірку кілька разів від k = 0 до будь-якого максимуму та побудувати графік продуктивності проти k. Оскільки модель тестується на даних, яких раніше не бачили, немає гарантії, що складні моделі працюватимуть краще, і справді ви повинні побачити погіршення продуктивності, якщо модель стане занадто складною через переозброєння. Особисто я вважаю, що це безпечніше і простіше виправдати, ніж мати довільний штрафний коефіцієнт, але ваш пробіг може відрізнятися.

Я також не дуже слідкую за тим, як замовлений Лассо відповідає на питання. Це здається занадто обмежуючим, воно повністю змушує впорядкувати коефіцієнти. Тоді як оригінальне запитання може закінчитися деякими даними, де є рішення де$\phi_{lj}$ не суворо зменшується з l.

Наказав ЛАССО , здається, що ви шукаєте: Він обчислює регуляризоване коефіцієнти регресії$\beta_{1...j}$ як у стандартному LASSO, але з урахуванням додаткового обмеження, яке $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$.

Це досягає другої мети - занулення коефіцієнтів для відставання вищого порядку, але є більш обмежувальним, ніж єдине обмеження віддати перевагу моделі нижчого відставання. І як зазначають інші, це важке обмеження, яке може бути дуже важко виправдати.

Розділившись застереженнями, у статті представлені результати методу як реальних, так і імітованих даних часових рядів, та деталізовані алгоритми для пошуку коефіцієнтів. У висновку згадується пакет R, однак документ є нещодавним, і пошук на CRAN для "замовленого LASSO" з'являється порожнім, тому я підозрюю, що пакет ще в розробці.

У статті також пропонується узагальнений підхід, в якому два параметри регуляризації "заохочують майже одноманітність". (Див. Стор. 6.) Іншими словами, слід налаштувати параметри, щоб забезпечити спокійне впорядкування. На жаль, не наводяться ні приклади, ні порівняння розслабленого методу. Але автори пишуть, що реалізація цієї зміни є простою справою заміни одного алгоритму іншим, тому можна сподіватися, що він стане частиною майбутнього пакету R.

Вкладений штраф LASSO ( pdf ) може бути використаний, але для нього немає R-пакетів.

Я знаю, що ви написали це як передумову, але я не використовував би замовлений LASSO, не будучи абсолютно впевненим, що це потрібна річ, тому що припущення замовленого LASSO безпосередньо не підходять для прогнозування часових рядів. В якості зустрічного прикладу розглянемо випадок, коли у вас є час затримки, скажімо, десяти часових кроків між вимірюванням і цільовим показником. Очевидно, впорядковані обмеження LASSO не можуть впоратися з такими ефектами, не привласнюючи нісенітницю першим дев'яти параметрам.

Навпаки, я б скоріше дотримувався звичайного LASSO і включав усі попередні спостереження - особливо тому, що ви написали, що ваш модельний простір невеликий, а програми оптимізації координат-спуску для LASSO (як описано тут ) працюють ефективно також для великих наборів даних. Потім обчисліть шлях для параметра регуляторної міцності$\lambda$ і подивіться, які параметри включаються, коли ви переходите від великих $\lambda$ до $\lambda=0$. Особливо важливі з них.

Нарешті, ви повинні вибрати відповідний критерій та оптимізувати параметр $\lambda$використовуючи перехресну перевірку, стандартну одновимірну мінімізацію чи будь-що інше. Критерій, наприклад, може бути таким, як "помилка передбачення + кількість включених змінних" (- критерій, схожий на AIC).