Чому назад поширюється протягом часу в RNN?

У періодичній нейронній мережі, як правило, вперед розповсюджуються через кілька часових кроків, "розкручують" мережу, а потім поширюються назад по послідовності входів.

Чому б ви не просто оновлювали ваги після кожного окремого кроку в послідовності? (еквівалент використання довжини усікання 1, тому немає чого розкручувати) Це повністю виключає проблему градієнта, що зникає, значно спрощує алгоритм, можливо, зменшить шанси застрягти в локальних мінімумах, а головне, здається, працює добре . Я тренував модель таким чином, щоб генерувати текст, і результати здавалися порівнянними з результатами, які я бачив із тренованих моделей BPTT. Мене це бентежить лише тому, що в кожному підручнику з RNN, які я бачив, йдеться про використання BPTT, майже як ніби це потрібно для належного навчання, що не так.

Оновлення: я додав відповідь

Редагувати: Я зробив велику помилку, порівнюючи два способи, і мені довелося змінити свою відповідь. Виявляється, так, як я це робив, просто поширюючись на поточному кроці часу, насправді починається навчання швидше. Швидкі оновлення дуже швидко засвоюють основні зразки. Але на більшому наборі даних та за тривалішого часу навчання BPTT насправді виходить на перше місце. Я випробовував невеликий зразок всього за кілька епох і припускав, що той, хто розпочне перемогу в гонці, буде переможцем. Але це привело мене до цікавої знахідки. Якщо ви почнете тренуватися назад, розповсюджуючи лише один крок часу, потім перейдіть на BPTT і повільно збільшуйте, наскільки далеко ви поширюєтесь, ви отримуєте швидше конвергенцію.

RNN - це глибока нейронна мережа (DNN), де кожен шар може приймати новий вхід, але має однакові параметри. BPT - модне слово для зворотного розповсюдження в такій мережі, яке саме по собі є вигадливим словом для Gradient Descent.

Скажімо , що РНН виходів у т в кожному кроці , і е г$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Для того, щоб дізнатися ваги, нам потрібні градієнти для функції, щоб відповісти на питання "наскільки зміна параметра впливає на функцію втрати?" і переміщуємо параметри в напрямку, заданому:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Тобто у нас є DNN, де ми отримуємо відгуки про те, наскільки хороший прогноз на кожному шарі. Оскільки зміна параметра змінить кожен шар у DNN (часовий крок) і кожен шар сприяє майбутнім результатам, це потрібно враховувати.

Візьміть просту мережу з одношаровим нейроном, щоб побачити це напіввиразно:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

З швидкість навчання крок один навчальний тоді: [ ~ ~ б ~ з ] ← [ б з ] + δ ( у т - у т ) ∇ у$\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

Може, тоді кожен крок сприятиме грубому напрямку, якого достатньо в сукупності? Це може пояснити ваші результати, але мені дуже цікаво почути більше про ваш метод / функцію втрати! Також буде зацікавлене порівняння з двома кроками вікна ANN.

edit4: Після прочитання коментарів здається, що ваша архітектура не є RNN.

$h_t$

Ваша модель: Без стану - прихований стан перебудовується на кожному кроці edit2: додано більше посилань на DNNs edit3: фіксований gradtep та деякі нотації edit5: виправлена ​​інтерпретація вашої моделі після вашої відповіді / уточнення.

"Розгортання через час" - це просто застосування ланцюгового правила,

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

Вихід RNN на етапі часу $t$, $H_t$ is a function of the parameters $\theta$, the input $x_t$ and the previous state, $H_{t-1}$ (note that instead $H_t$ may be transformed again at time step $t$ to obtain the output, that is not important here). Remember the goal of gradient descent: given some error function $L$, let's look at our error for the current example (or examples), and then let's adjust $\theta$ in such a way, that given the same example again, our error would be reduced.

How exactly did $\theta$ contribute to our current error? We took a weighted sum with our current input, $x_t$, so we'll need to backpropagate through the input to find $\nabla_\theta a(x_t, \theta)$, to work out how to adjust $\theta$. But our error was also the result of some contribution from $H_{t-1}$, which was also a function of $\theta$, right? So we need to find out $\nabla_\theta H_{t-1}$, which was a function of $x_{t-1}$, $\theta$ and $H_{t-2}$. But $H_{t-2}$ was also a function a function of $\theta$. And so on.