Чому RNN з одиницями LSTM також можуть страждати від "вибуху градієнтів"?

У мене є основні знання про те, як працюють RNN (і, зокрема, з одиницями LSTM). У мене є живописне уявлення про архітектуру блоку LSTM, тобто клітинки та декількох воріт, які регулюють потік значень.

Однак, мабуть, я не до кінця зрозумів, як LSTM вирішує проблему "зникаючих та вибухаючих градієнтів", яка виникає під час тренування, використовуючи зворотне поширення через час, звичайну RNN. У мене не було можливості читати документи, щоб повністю зрозуміти математику.

Ця відповідь дає коротке пояснення того, як RNN з одиницями LSTM вирішують проблему "зникаючих градієнтів". Математично причиною здається відсутність похідної, яка не зникає, тобто не прагне до нуля. Отже, автор зазначає, "існує хоча б одна стежка, де градієнт не зникає". ІМХО, це пояснення трохи розпливчасте.

Тим часом я читав статтю « Послідовність до навчання послідовності з нейронними мережами» (Ілля Суцкевер, Оріол Віньялс, Квок В. Ле), і в цьому документі, в розділі «3.4.

Хоча LSTM, як правило, не страждає від зникаючої градієнтної проблеми, вони можуть мати вибухові градієнти.

Я завжди думав, що RNN з одиницями LSTM вирішують і проблеми "зникаючих", і "вибухових градієнтів", але, мабуть, RNN з одиницями LSTM також страждають від "вибуху градієнтів".

Інтуїтивно, чому це? Математично, які причини?

Дуже коротка відповідь:

LSTM розв'язує стан комірок (як правило, позначається c) та прихованим шаром / виводом (як правило, позначається h), і лише оновлює додатки c, що робить пам'ять cбільш стабільними. Таким чином градієнт, що протікає через c, зберігається і важко зникає (тому загальний градієнт важко зникнути). Однак інші шляхи можуть спричинити вибух градієнта.

Більш детальна відповідь з математичним поясненням:

Давайте спочатку розглянемо механізм CEC (Constant Error Carousel). ЦВК каже, що від кроку tдо часу t+1, якщо ворота забуття дорівнює 1 (в оригінальному папері LSTM немає жодного замку забуття, тому це завжди так), градієнт може протікати без змін. Дотримуючись формул BPTT у папері LSTM: Додаток Адисеї простір пошуку A Space ( у статті є в іншій літературі), потік CEC фактично відповідає рівнянню δ c t = ⋯ + δ c t + 1 ⊙ f t + 1 . Коли $dl/dc^{t}$yh$\delta c^t = \dots + \delta c^{t+1} \odot f^{t+1}$ близький до 1,δ c t + 1 накопичується доδ c t без втрат.$f^{t+1}$$\delta c^{t+1}$$\delta c^t$

$c^{t}$$c^{t+1}$$y^t \rightarrow o^{t+1} \rightarrow y^{t+1}$$\delta y^t \leftarrow R^T_o \delta o^{t+1} \leftarrow \delta y^{t+1} \leftarrow R^T_o \delta o^{t+2}$$R^T_o$$R^T_i, R^T_f, R^T_z$

Довідка:

К. Грефф, Р. К. Срівастава, Дж. Кутнік, Б. Р. Стюнебрінк та Дж. Шмідхубер. LSTM: Одисея пошукового простору. CoRR, abs / 1503.04069, 2015.

Однак є ще деякі шляхи, через які градієнт може стати нестабільним, і чим більша мережа, тим більше ймовірність, що ти зіткнешся з цією проблемою.