Використання RNN (LSTM) для прогнозування векторів таймсерій (Theano)

У мене дуже проста проблема, але я не можу знайти правильний інструмент для її вирішення.

У мене є деяка послідовність векторів однакової довжини. Тепер я хотів би навчити LSTM RNN на зразку поїздів цих послідовностей, а потім змусити його передбачити нову послідовність векторів довжиною на основі декількох векторів праймінгу .$n$

Я не можу знайти просту реалізацію, яка б це зробила. Моя основна мова - Python, але все, що не встановлюється днями, буде тримати.

Я намагався використовувати Lasagne , але реалізація RNN ще не готова і знаходиться в окремому пакеті nntools . У всякому разі, я спробував останній, але не можу зрозуміти, як його тренувати, а потім прокласти його за допомогою деяких тестових векторів і дозволити йому передбачити нових (-ів). Блоки є тією ж проблемою - жодна документація не доступна для LSTM RNN, хоча здається, що існують деякі класи та функції, які можуть працювати (наприклад blocks.bricks.recurrent).

Є кілька реалізація РНН LSTM в Theano, як GroundHog, theano-rnn, theano_lstmі код для деяких робіт, але не з них мають підручник або керівництво , як зробити те , що я хочу.

Єдине корисне для мене рішення - це використання Pybrain. Але, на жаль, йому не вистачає можливостей Theano (в основному обчислення GPU) і він осиротів (немає нових можливостей та підтримки).

Хтось знає, де я міг би знайти те, про що прошу? Легко працювати з RNN LSTM для прогнозування послідовностей векторів?

Редагувати:

Я спробував Кераса так:

from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.layers.embeddings import Embedding
from keras.layers.recurrent import LSTM

model = Sequential()
model.add(Embedding(12, 256))
model.regularizers = []
model(LSTM(256, 128, activation='sigmoid', 
               inner_activation='hard_sigmoid'))
model.add(Dropout(0.5))
model.add(Dense(128, 12))
model.add(Activation('sigmoid'))
model.compile(loss='mean_squared_error', optimizer='rmsprop')

але я отримую цю помилку при спробі її пристосувати model.fit(X_train, y_train, batch_size=16, nb_epoch=10)

IndexError: index 800 is out of bounds for axis 1 with size 12

в той час як X_trainі y_trainє масивами масивів (довжиною 12), наприклад[[i for i in range(12)] for j in range(1000)]

Нарешті я знайшов спосіб і задокументував це у своєму блозі тут .

Існує порівняння декількох фреймворків, а потім і одна реалізація в Керасі.

Я б запропонував таке:

0) Theano дійсно потужний, але так, тріска може бути непростим, іноді для початку

1) Я б запропонував вам перевірити Breze: https://github.com/breze-no-salt/breze/blob/master/notebooks/recurrent-networks/RNNs%20for%20Piano%20music.ipynb, що трохи простіше бути зрозумілим і має також модуль LSTM. Крім того, цікавим вибором є автоград Harvards, який робить автоматичне символічне розмежування функцій numpy https://github.com/HIPS/autograd/blob/master/examples/lstm.py, і тому ви можете легко зрозуміти, що відбувається.

2) Я фанат пітона, але це мої особисті переваги. Чи вважали ви, що використання Torch7 є найбільш зручним для користувача середовищем для нейронних мереж, а також використовується Google Deepmind та Facebook AI? Ви можете перевірити цю цікаву публікацію в блозі про RNN http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Додатково, реалізація LSTM доступна у рефінансі повідомлення github, тоді як альтернативою є пакет rnn https://github.com/Element-Research/rnn .

Я перевірив LSTM передбачення деякої часової послідовності з Theano. Я виявив, що для деякої плавної кривої її можна правильно передбачити. Однак для деякої кривої зигзагу. Важко передбачити Детальна стаття наведена нижче: Прогнозуйте послідовність часу з LSTM

Прогнозований результат можна показати так: