Багато в одному і багато-багато прикладів LSTM в Керасі

Я намагаюся зрозуміти LSTM і як їх побудувати за допомогою Кераса. Я з'ясував, що в основному є 4 режими для запуску RNN (4 правильних на малюнку)

Джерело зображення: Андрій Карпатій

Тепер мені цікаво, як виглядав би мінімалістичний фрагмент коду для кожного з них у Keras. Так щось на кшталт

model = Sequential()
model.add(LSTM(128, input_shape=(timesteps, data_dim)))
model.add(Dense(1))

для кожного з 4 завдань, можливо, з невеликим поясненням.

Так:

1. Один на один : ви можете використовувати Denseшар, оскільки ви не обробляєте послідовності:

   model.add(Dense(output_size, input_shape=input_shape))

2. Один до багатьох : ця опція не підтримується добре, тому що прив’язувати моделі не дуже просто Keras, тому наступна версія є найпростішою:

   model.add(RepeatVector(number_of_times, input_shape=input_shape))
   model.add(LSTM(output_size, return_sequences=True))

3. Багато в одному : фактично ваш фрагмент коду є (майже) прикладом такого підходу:

   model = Sequential()
   model.add(LSTM(1, input_shape=(timesteps, data_dim)))

4. Багато-багато-багато : Це найпростіший фрагмент, коли довжина вводу та виводу відповідає кількості повторюваних кроків:

   model = Sequential()
   model.add(LSTM(1, input_shape=(timesteps, data_dim), return_sequences=True))

5. Багато-багато-багато, коли кількість кроків відрізняється від довжини вводу / виводу : це важко важко в Керасі. Немає простих фрагментів коду, щоб кодувати це.

Редагувати: Об'ява 5

В одному з моїх останніх застосувань ми реалізували щось, що може бути подібним багатьом до багатьох із четвертого зображення. Якщо ви хочете мати мережу із такою архітектурою (коли вхід довший, ніж вихід):

                                        O O O
                                        | | |
                                  O O O O O O
                                  | | | | | | 
                                  O O O O O O

Ви можете досягти цього наступним чином:

    model = Sequential()
    model.add(LSTM(1, input_shape=(timesteps, data_dim), return_sequences=True))
    model.add(Lambda(lambda x: x[:, -N:, :]

Де Nкількість останніх кроків, які ви хочете висвітлити (на зображенні N = 3).

З цього моменту переходимо до:

                                        O O O
                                        | | |
                                  O O O O O O
                                  | | | 
                                  O O O 

є такою ж простою, як і послідовність штучної накладки довжини, Nвикористовуючи, наприклад, з 0векторами, щоб відрегулювати її відповідно до розміру.

Чудова відповідь від @Marcin Możejko

Я б додав до NR.5 (багато-багато з різною довжиною / виходом):

А) як ванільний LSTM

model = Sequential()
model.add(LSTM(N_BLOCKS, input_shape=(N_INPUTS, N_FEATURES)))
model.add(Dense(N_OUTPUTS))

Б) як кодер-декодер LSTM

model.add(LSTM(N_BLOCKS, input_shape=(N_INPUTS, N_FEATURES))  
model.add(RepeatVector(N_OUTPUTS))
model.add(LSTM(N_BLOCKS, return_sequences=True))  
model.add(TimeDistributed(Dense(1)))
model.add(Activation('linear'))