Дивно, але цього раніше не запитували - принаймні, я не знайшов нічого, окрім нечітко пов'язаних питань.
Отже, що таке періодична нейронна мережа, і які їх переваги перед звичайними NN?
Відповіді:
Рекурентні нейронні мережі (RNN) - це клас архітектури штучної нейронної мережі, натхненний циклічною сполученістю нейронів у мозку. Він використовує ітеративні функції циклів для зберігання інформації.
Відмінність від традиційних нейронних мереж із використанням зображень із цієї книги :
І, RNN:
Зауважте різницю - підключення нейронних мереж подачі не утворюють циклів. Якщо ми послабимо цю умову і дозволимо також циклічні з’єднання, ми отримаємо періодичні нейронні мережі (RNN). Ви можете бачити це в прихованому шарі архітектури.
Хоча різниця між багатошаровим перцептроном та RNN може здатися тривіальною, наслідки для вивчення послідовностей далекосяжні. MLP може відображати лише вхідні та вихідні вектори , тоді як RNN може в принципі відображати всю історію попередніх входів до кожного виходу . Дійсно, еквівалентним результатом теорії універсального наближення для MLP є те, що RNN з достатньою кількістю прихованих одиниць може наблизити будь-яке вимірюване відображення послідовності до послідовності до довільної точності.
Важливий винос:
Постійні з'єднання дозволяють «пам’яті» попередніх входів зберігатись у внутрішньому стані мережі і тим самим впливати на вихід мережі.
Говорити з точки зору переваг не є доцільним, оскільки вони обидва є сучасними та особливо хорошими у виконанні певних завдань. Широка категорія завдань, які RNN виконує в:
Метою маркування послідовностей є присвоєння послідовностей міток, намальованих із фіксованого алфавіту, послідовностям вхідних даних.
Напр.: Перепишіть послідовність акустичних особливостей з розмовними словами (розпізнавання мови) або послідовність відеокадрів жестами руки (розпізнавання жестів).
Деякі з підзадач при маркуванні послідовностей:
Класифікація послідовностей
Послідовності міток обмежені однаковою довжиною. Це називається класифікацією послідовностей, оскільки кожна послідовність введення присвоюється одному класу. Приклади завдання класифікації послідовностей включають в себе ідентифікацію одного розмовного твору та розпізнавання окремого рукописного листа.
Класифікація за сегментами
Класифікація сегментів відноситься до тих завдань, де цільові послідовності складаються з декількох міток, але місця розташування міток - тобто позицій вхідних сегментів, до яких застосовуються мітки - відомі заздалегідь.
Рецидивуючий нейронна мережа (РНН) є штучної нейронної мережі , яка містить відстале або сам-з'єднання, а не тільки мають вперед з'єднання, як в прямоточною нейронної мережі (FFNN). Прикметник "повторюваний", таким чином, відноситься до цього відсталого або самозв'язку, яке створює петлі в цих мережах.
RNN може бути навчений, використовуючи поширення зворотного зв'язку через час (BBTT), таким чином, що ці відсталі або самоз'єднання "запам'ятовують" раніше бачені входи. Отже, ці з'єднання в основному використовуються для відстеження тимчасових зв’язків між елементами послідовності входів, що робить RNN добре придатними для прогнозування послідовностей та подібних завдань.
Існує кілька моделей RNN: наприклад, RNN з одиницями LSTM або GRU. LSTM (або GRU) - це RNN, окремі одиниці якого виконують більш складне перетворення, ніж одиниця в "звичайній RNN", яка виконує лінійне перетворення входу з подальшим застосуванням до цього нелінійної функції (наприклад, ReLU). лінійне перетворення. Теоретично "звичайні RNN" такі ж потужні, як і RNN з одиницями LSTM. На практиці вони страждають від проблеми "зникаючих та вибухаючих градієнтів". Отже, на практиці використовуються LSTM (або подібні складні повторювані одиниці).