Забудьте прошарок у періодичній нейронній мережі (RNN) -

Я намагаюся з'ясувати розміри кожної змінної в RNN в шарі забуття, однак я не впевнений, чи я на правильному шляху. Наступна картина та рівняння - з публікації блогу Кола "Розуміння мереж LSTM" :

де:

• є введення розміру м * 1 вектор$x_t$$m*1$
• - прихований стан розміру n ∗ 1 вектор$h_{t-1}$$n*1$
• - це конкатенація (наприклад, якщо x t = [ 1 , 2 , 3 ] , h t - 1 = [ 4 , 5 , 6 ] , то [ x t , h t - 1 ] = [ 1 , 2 , 3 , 4 , 5 , 6 ] )$[x_t, h_{t-1}]$$x_t=[1, 2, 3], h_{t-1}=[4, 5, 6]$$[x_t, h_{t-1}]=[1, 2, 3, 4, 5, 6]$
• -матрицярозміру k ∗ ( m + n ) , де k - кількість клітинних станів (якщо m = 3 , і n = 3 у наведеному вище прикладі, а якщо у нас є 3 клітинні стани, то w f = 3 ∗ 3 матриці)$w_f$$k*(m+n)$$k$$m=3$$n=3$$w_f=3*3$
• є зміщення розміру до * 1 вектор, де до є число клітинних станів (так як до = 3 в якості прикладу вище, то б е є 3 * 1 вектор).$b_f$$k*1$$k$$k=3$$b_f$$3*1$

Якщо ми встановимо таким чином: [ 1 2 3 4 5 6 5 6 7 8 9 10 3 4 5 6 7 8$w_f$

$$\begin{bmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ 5 & 6 & 7 & 8 & 9 & 10 \\ 3 & 4 & 5 & 6 & 7 & 8 \\ \end{bmatrix}$$

І бути: [ 1 , 2 , 3 $b_f$$[1, 2, 3]$

Тоді $W_f . [h_{t-1}, x_t] =$

$$\begin{bmatrix} 1 & 2 & 3 & 4 & 5 & 6 \\ 5 & 6 & 7 & 8 & 9 & 10 \\ 3 & 4 & 5 & 6 & 7 & 8 \\ \end{bmatrix} . \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \\ 5 \\ 6 \\ \end{bmatrix} =\begin{bmatrix} 91 & 175 & 133\end{bmatrix}$$

Тоді ми можемо додати зміщення, $W_f . [h_{t-1}, x_t] + b_f=$

$$\begin{bmatrix} 91 & 175 & 133\end{bmatrix} + \begin{bmatrix} 1 & 2 & 3\end{bmatrix}=\begin{bmatrix} 92 & 177 & 136\end{bmatrix}$$

$\frac{1}{1+e^{-x}}$$x=\begin{bmatrix} 92 & 177 & 136\end{bmatrix}$

$$\begin{bmatrix} 1 & 1 & 1\end{bmatrix}$$

$C_{t-1}$$k=3$

Чи правильне вище припущення?

Це також означає, що кількість клітинного стану та прихованого стану однакове?

Чудове запитання!

tl; dr: стан клітини та прихований стан - це дві різні речі, але прихований стан залежить від стану клітини і вони дійсно мають однаковий розмір.

Більш тривале пояснення

Різниця між ними видно з діаграми нижче (частина того ж блогу):

Стан клітини - це смілива лінія, що рухається на захід на схід через вершину. Весь зелений блок називається "комірка".

Прихований стан з попереднього етапу часу розглядається як частина вводу на поточному етапі часу.

Однак трохи складніше бачити залежність між ними, не роблячи повного проходження. Я зроблю це тут, щоб забезпечити іншу точку зору, але під сильним впливом блогу. Моя нотація буде такою ж, і я буду використовувати в своєму поясненні зображення з блогу.

Мені подобається думати про порядок операцій трохи інакше, ніж вони були представлені в блозі. Особисто, як, починаючи з вхідних воріт. Я викладу цю точку зору нижче, але будь ласка, майте на увазі, що блог може бути найкращим способом встановити LSTM в обчислювальній формі, і це пояснення є чисто концептуальним.

Ось що відбувається:

Вхідні ворота

$t$$x_t$$h_{t-1}$

$x_t = [1, 2, 3]$$h_t = [4, 5, 6]$

$x_t$$h_{t-1}$$[1, 2, 3, 4, 5, 6]$

$W_i$$W_i \cdot [x_t, h_{t-1}] + b_i$$W_i$$b_i$

Припустимо, ми переходимо від шестивимірного вводу (довжина об'єднаного вхідного вектора) до тривимірного рішення про те, які стани потрібно оновити. Це означає, що нам потрібна матриця ваги 3x6 та вектор зміщення 3x1. Дамо цим значенням:

$W_i = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix}$

$b_i = \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$

Розрахунок буде:

$\begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix} \cdot \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \\5 \\6 \end{bmatrix} + \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}$

$i_t = \sigma (W_i \cdot [x_t, h_{t-1}] + b_i)$

$\sigma(x) = \frac{1}{1 + exp(-x)}$$x$

$\sigma(\begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}) = [\frac{1}{1 + exp(-22)}, \frac{1}{1 + exp(-42)}, \frac{1}{1 + exp(-62)}] = [1, 1, 1]$

Англійською мовою це означає, що ми збираємось оновити всі наші штати.

Вхідний затвор має другу частину:

$\tilde{C_t} = tanh(W_C[x_t, h_{t-1}] + b_C)$

Суть цієї частини полягає в обчисленні того, як ми оновлювали б стан, якби ми це робили. Це внесок нового введення на цьому етапі в стан комірок. Розрахунок проводиться за тією ж процедурою, що показана вище, але з танховою одиницею замість сигмовидної одиниці.

$\tilde{C_t}$$i_t$

$i_t$$\tilde{C_t}$

Потім виходить ворота забуття, яка була сутністю вашого питання.

Ворота забуття

Мета ворота забуття - видалити раніше засвоєну інформацію, яка вже не є актуальною. Приклад, наведений у блозі, заснований на мові, але ми можемо також думати про розсувне вікно. Якщо ви моделюєте часовий ряд, який, природно, представлений цілими числами, як, наприклад, кількість заражених людей у ​​районі під час спалаху хвороби, то, можливо, після того, як хвороба вимерла в районі, ви більше не хочете турбуватися, враховуючи цю область, коли думаючи про те, як хвороба буде подорожувати далі.

Так само, як і вхідний шар, рівень забуття приймає прихований стан з попереднього кроку часу, а новий вхід - з поточного кроку часу і з'єднує їх. Сенс у тому, щоб вирішити стохастично, що забути і про що пам’ятати. У попередньому обчисленні я показав сигмоподібний шар всіх 1-х, але насправді це було ближче до 0,999, і я округлювався.

Розрахунок схожий на те, що ми зробили у вхідному шарі:

$f_t = \sigma(W_f [x_t, h_{t-1}] + b_f)$

Це дасть нам вектор розміру 3 зі значеннями від 0 до 1. Зробимо вигляд, що він нам дав:

$[0.5, 0.8, 0.9]$

Тоді ми вирішуємо стохастично виходячи з цих значень, яку з цих трьох частин інформації забути. Один із способів зробити це - генерувати число з рівномірного (0, 1) розподілу, і якщо це число менше, ніж ймовірність включення одиниці (0,5, 0,8 та 0,9 для одиниць 1, 2 і 3 відповідно), тоді ми включаємо цей блок. У цьому випадку це означає, що ми забуваємо цю інформацію.

Швидка примітка: вхідний і забутий шар незалежні. Якби я був людиною, що робить ставку, я б став би, що це хороше місце для паралелізації.

Оновлення стану клітини

Тепер у нас є все необхідне для оновлення стану комірок. Ми беремо комбінацію інформації з вхідних і забутих воріт:

$C_t = f_t \circ C_{t-1} + i_t \circ \tilde{C_t}$

$\circ$

Убік: продукт Адамара

$x_1 = [1, 2, 3]$$x_2 = [3, 2, 1]$

$x_1 \circ x_2 = [(1 \cdot 3), (2 \cdot 2), (3 \cdot 1)] = [3, 4, 3]$

Кінець убік

Таким чином ми поєднуємо те, що хочемо додати до стану комірки (вхід) з тим, що ми хочемо зняти зі стану клітини (забути). Результат - новий стан клітин.

Вихідні ворота

Це дасть нам новий прихований стан. По суті, суть вихідного ворота полягає у тому, щоб вирішити, яку інформацію ми хочемо врахувати в наступній частині моделі під час оновлення наступного стану комірок. Приклад у блозі - це знову мова, мова: якщо іменник у множині, то сполучення дієслів на наступному кроці зміниться. У моделі захворювання, якщо сприйнятливість особи в певній місцевості відрізняється, ніж в іншій області, то ймовірність зараження інфекцією може змінитися.

Вихідний шар знову приймає той же вхід, але потім враховує оновлений стан комірки:

$o_t = \sigma(W_o [x_t, h_{t-1}] + b_o)$

Знову ж таки, це дає нам вектор ймовірностей. Тоді ми обчислюємо:

$h_t = o_t \circ tanh(C_t)$

Таким чином, поточний стан комірки та вихідні ворота повинні узгоджувати, що потрібно виводити.

$tanh(C_t)$$[0, 1, 1]$$o_t$$[0, 0, 1]$$[0, 0, 1]$

$h_t$$y_t = \sigma(W \cdot h_t)$

$h_t$

Варіантів LSTM є дуже багато, але це стосується суттєвого!