Як можна повторно використовувати нейромережі для класифікації послідовностей?

RNN може бути використаний для прогнозування або відображення послідовності послідовностей. Але як RNN можна використовувати для класифікації? Я маю на увазі, ми даємо цілій послідовності одну мітку.

RNN можна використовувати для відображення декількох входів на один вхід (мітку), як це дає цифру ( джерело ):

Кожен прямокутник є вектором, а стрілки представляють функції (наприклад, множення матриці). Вхідні вектори червоного кольору, вихідні вектори синього та зеленого кольорів містять стан RNN (детальніше про це незабаром). Зліва направо: (1) Ванільний режим обробки без RNN, від фіксованого розміру до фіксованого розміру (наприклад, класифікація зображення). (2) Послідовність виводу (наприклад, субтитри зображення приймають зображення та виводять речення з слів). (3) Послідовне введення (наприклад, аналіз настроїв, коли дане речення класифікується як вираження позитивних чи негативних настроїв). (4) Послідовне введення та вихід послідовності (наприклад, машинний переклад: RNN читає речення англійською мовою, а потім виводить речення французькою мовою). (5) Синхронізована послідовність введення та виведення (наприклад, класифікація відео, де ми хочемо позначити кожен кадр відео).

У випадку простого RNN, подайте всю послідовність у вашу мережу, а потім виведіть мітку класу на останньому елементі послідовності (див. Цей документ та посилання на нього для раннього прикладу цього підходу). На етапі тренінгу ми можемо повернути помилку в часі від останнього елемента послідовності до початку послідовності. Взагалі це не відрізняється від проблеми маркування послідовностей RNN, де нам потрібно присвоїти мітки лише деяким елементам послідовності (або всі інші елементи позначені як ДРУГІ).