Використання глибокого навчання для прогнозування часових рядів

Я новачок в області глибокого навчання і для мене першим кроком було прочитати цікаві статті з сайту deepplearning.net. У працях про глибоке навчання Хінтон та інші в основному говорять про його застосування до проблем із зображенням. Чи може хтось спробувати відповісти на мене, чи можна це застосувати до проблеми прогнозування значень часових рядів (фінансовий, інтернет-трафік, ...) та які важливі речі, на які я повинен зосередитися, якщо це можливо?

Була проведена робота з адаптації методів глибокого навчання для послідовних даних. Значна частина цієї роботи була зосереджена на розробці "модулів", які можна складати таким чином, як аналогічно укладанню машин з обмеженим болтцманом (RBM) або автокодерів для формування глибокої нейронної мережі. Я виділю кілька нижче:

• Умовні УЗМ : Мабуть, одне з найуспішніших застосувань глибокого навчання для часових рядів. Тейлор розробляє модель, схожу на RBM, яка додає тимчасові взаємодії між видимими одиницями та застосовує їх для моделювання даних зйомки руху. По суті, ви отримуєте щось на зразок лінійної динамічної системи з деякою нелінійністю, доданою прихованими одиницями.
• Тимчасові УЗМ : У своїй дипломній роботі (розділ 3) Ілля Суцкевер розробляє декілька моделей, подібних до УВД, з тимчасовими взаємодіями між одиницями. Він також представляє цікаві результати, що показують, що тренувальні періодичні нейронні мережі з SGD можуть виконуватись так само або краще, ніж більш складні методи, наприклад, алгоритм без гессіана Мартенса, використовуючи добру ініціалізацію та трохи змінене рівняння для імпульсу.
• Рекурсивні автокодери : Нарешті, я згадаю роботу Річарда Сочера щодо використання рекурсивних автокодер для розбору. Хоча це не часовий ряд, він, безумовно, пов'язаний.

Так, глибоке навчання може застосовуватися для прогнозування часових рядів. Насправді це було зроблено вже багато разів, наприклад:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Це насправді не будь-який «особливий випадок», глибоке навчання - це здебільшого метод попередньої обробки (заснований на генеративній моделі), тому вам потрібно зосередитись саме на тих самих речах, на які ви зосереджуєтесь, коли ви глибоко навчаєтесь у «традиційному розумінні» на одному рука та ті самі речі, на яких ви зосереджуєтесь, виконуючи передбачення часових рядів без глибокого вивчення.

Рекурентні нейронні мережі вважаються типом глибокого навчання (DL). Я думаю, що вони є найпопулярнішим інструментом DL для (1d) навчання послідовності за послідовністю. Наразі вони є основою підходів до нейронного машинного перекладу (NMT) (піонером 2014 року в LISA (UdeM), Google, і, мабуть, ще пару, яких я не пам’ятаю).

Генерація послідовностей Алекса Грейвса з періодичними нейронними мережами використовує періодичні мережі та довгі короткострокові клітини пам'яті для прогнозування тексту та синтезу рукописного вводу.

Андрій Карпаті написав блог про генерування послідовностей на рівні персонажів з нуля. Він використовує RNN в своєму підручнику.

Для отримання додаткових прикладів вам слід ознайомитись з - Hochreiter, S., & Schmidhuber, J. (1997). Довга короткочасна пам'ять. Нейрові обчислення, 9 (8), 1735-1780.

Можливо, це допоможе:

• І. Суцкевер, О. Винялс та QV V Le, “Послідовність послідовного навчання з нейронними мережами”, в “Досягнення в системах нейронної обробки інформації”, 2014., с. 3104–3112.

Якщо у вас є визначення точного часового вікна на таких даних, як речення в цій статті або абзаци, то вам буде добре з використанням LSTM, але я не впевнений, як знайти часове вікно, яке не є очевидним і більш відомим контексту. Прикладом цього може слугувати кількість пов’язаних вами даних журналів, і це не щось очевидно.