Яка інтуїція стоїть за періодичною нейронною мережею довгострокової пам'яті (LSTM)?

Ідея, що стоїть за періодичною нейронною мережею (RNN), мені зрозуміла. Я розумію це таким чином:
У нас є послідовність спостережень ( $\vec o_1, \vec o_2, \dots, \vec o_n$ ) (або, іншими словами, багатоваріантний часовий ряд). Кожне окреме спостереження $\vec o_i$ - $N$ -вимірний числовий вектор. У моделі RNN ми припускаємо, що наступне спостереження $\vec o_{i+1}$ є функцією попереднього спостереження $\vec o_{i}$ , а також попереднього «прихованого стану» $\vec h_i$, де приховані стани також представлені числовими векторами (розміри спостережуваних та прихованих станів можуть бути різними). Приховані стани також передбачаються залежними від попереднього спостереження та прихованого стану:

$\vec o_i, \vec h_i = F (\vec o_{i-1}, \vec h_{i-1})$

Нарешті, у моделі RNN функція $F$ вважається нейронною мережею. Ми тренуємо (підганяємо) нейронну мережу, використовуючи доступні дані (послідовність спостережень). Наша мета в навчанні - вміти прогнозувати наступне спостереження максимально точно, використовуючи попередні спостереження.

Тепер мережа LSTM - це модифікація мережі RNN. Наскільки я зрозумів, мотивація LSTM полягає у вирішенні проблеми короткої пам’яті, властивої RNN (звичайні RNN мають проблеми із пов’язаними подіями, які занадто далеко розділені за часом).

Я розумію, як працюють мережі LSTM. Ось найкраще пояснення LSTM, яке я знайшов. Основна ідея така:

На додаток до вектора прихованого стану ми вводимо так званий вектор "стан комірки", який має такий же розмір (розмірність), як вектор прихованого стану ( $\vec c_i$ ). Я думаю, що вектор "стан клітин" вводиться для моделювання довгострокової пам'яті. Як і у випадку звичайних RNN, мережа LSTM отримує спостережуваний та прихований стан як вхід. Використовуючи цей вхід, ми обчислюємо новий "стан комірки" таким чином:

$\vec c_{i+1} = \vec \omega_1 (\vec o_i, \vec h_i) \cdot \vec c_i + \vec \omega_2 (\vec o_i, \vec h_i) \cdot \vec c_{int} (\vec o_i, \vec h_i),$

де функції $\vec \omega_1$ , $\vec \omega_2$ та $\vec c_{int}$ моделюються нейронними мережами. Щоб зробити вираз більш простим, я просто видаляю аргументи:

$\vec c_{i+1} = \vec \omega_1 \cdot \vec c_i + \vec \omega_2 \cdot \vec c_{int}$

Отже, ми можемо бачити, що новий "вектор стану клітини" ( $\vec c_i$ ) - це зважена сума старого вектора стану ( $\vec c_{i-1}$ ) та "проміжного" вектора стану клітин ( $\vec c_{int}$ ). Множення між векторами є компонентним (ми множимо два N мірних векторів і отримуємо, як результат, ще один розмірний вектор). Іншими словами, ми змішуємо два вектори стану клітин (старий та проміжний), використовуючи ваги, що відповідають компонентам.

$\vec \omega_2$$\omega_1$$\vec \omega_1$$\vec \omega_1$$\vec \omega_2$

$\vec o_i$$\vec h_i$$\vec h_{int}$

$\vec h_{i+1} = \vec h_{int} \cdot S(\vec c_{i+1}),$

$S$

Отже, моє запитання: чому (або як саме) ця архітектура вирішує проблему?

Зокрема, я не розумію наступного:

1. Ми використовуємо нейронну мережу, щоб генерувати "проміжну" пам'ять (вектор стану комірки), змішану зі "старою" пам'яттю (або стан комірки), щоб отримати "нову" пам'ять (стан комірки). Вагові коефіцієнти для змішування також розраховуються нейронними мережами. Але чому ми не можемо використовувати лише одну нейронну мережу для обчислення "нового" стану комірки (або пам'яті). Або, іншими словами, чому ми не можемо використовувати спостережуваний стан, прихований стан та стару пам'ять як входи до нейронної мережі, яка обчислює "нову" пам'ять?
2. Зрештою, ми використовуємо спостережувані та приховані стани для обчислення нового прихованого стану, а потім використовуємо "новий" стан комірки (або (довготривалу) пам'ять) для корекції складової щойно обчисленого прихованого стану. Іншими словами, компоненти стану клітини використовуються так само, як ваги, які просто зменшують відповідні компоненти обчисленого прихованого стану. Але чому саме вектор стану клітин використовується саме таким чином? Чому ми не можемо обчислити новий прихований стан, поставивши вектор стану комірки (довготривалу пам'ять) на вхід нейронної мережі (що також приймає спостережувані та приховані стани як вхідні дані)?

Додано:

Ось відео, яке може допомогти з'ясувати, як організовані різні ворота ("зберігати", "писати" та "читати").

Як я розумію ваші запитання, те, що ви зображаєте, в основному об'єднує вхід, попередній прихований стан і попередній стан комірки, і передаючи їх через один або кілька повністю пов'язаних шарів для обчислення вихідного прихованого стану та стану комірки, замість того, щоб самостійно обчислювати " "оновлення, які арифметично взаємодіють зі станом комірки. Це в основному створить звичайний RNN, який виводить лише частину прихованого стану.

Основна причина цього не робити полягає в тому, що структура обчислень стану клітин LSTM забезпечує постійний потік помилок через довгі послідовності . Якщо ви використовували ваги для обчислення стану комірок безпосередньо, вам потрібно буде повторно розповсюджувати їх на кожному етапі! Уникнення подібних операцій значною мірою вирішує зникаючі / вибухаючі градієнти, які інакше чують РНН.

Крім того, можливість легко зберігати інформацію протягом більш тривалого періоду часу - хороший бонус. Інтуїтивно зрозуміло, що мережу буде набагато складніше навчитися з нуля, щоб зберегти стан комірок протягом більш тривалих проміжків часу.

Варто зазначити, що найпоширеніша альтернатива LSTM, GRU , аналогічно обчислює оновлення прихованого стану, не вивчаючи ваги, які працюють безпосередньо на самому прихованому стані.

Якщо я правильно зрозумів, обидва ваші запитання зводяться до цього. Два місця, де ми використовуємо і танг, і сигмоїд для обробки інформації. Замість цього ми повинні використовувати одну єдину нейронну мережу, яка бере всю інформацію.

Я не знаю недоліків використання однієї єдиної нейронної мережі. На мою думку, ми можемо використовувати єдину нейронну мережу з сигмоподібною нелінійністю, яка правильно засвоює вектор, який буде належним чином використаний (додається у клітинному стані у першому випадку або передається як прихований стан у другому випадку).

Однак, як ми це робимо зараз, ми розбиваємо завдання на дві частини, в одній частині, яка використовує сигмоподібну нелінійність, щоб дізнатися обсяг даних, що зберігаються. Інша частина, яка використовує танх як нелінійність, - це лише виконувати завдання вивчення важливої ​​інформації.

Простіше кажучи, сигмоїд дізнається, як заощадити, а танх дізнається, що врятувати, і розбивши його на дві частини, буде полегшити навчання.