Вивівши градієнт одношарової нейронної мережі wrt своїх входів, що таке оператор у ланцюговому правилі?

Проблема:

Отримайте градієнт щодо вхідного шару для нейронної мережі одного прихованого шару, використовуючи сигмоїд для введення -> прихований, софтмакс для прихованого -> виводу, з поперечною втратою ентропії.

Я можу пройти більшу частину виведення, використовуючи правило ланцюга, але я не впевнений, як насправді "з'єднати" їх разом.

Визначте деякі позначення

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , - сигмоїдна функція $\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , - функція softmax $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , справжній ярлик "гарячий вектор" $y$

Тоді за правилом ланцюга,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Індивідуальні градієнти:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Тепер ми повинні з'єднати визначення разом. У одно змінній це легко, ми просто множимо все разом. У векторах я не впевнений, чи використовувати мультиплікаційне множення чи матричне множення.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Де - множинне множення векторів, а - матричне множення. Ця комбінація операцій - це єдиний спосіб, по якому я міг би з'єднати їх разом, щоб отримати векторний розмірний розмір , який я знаю, що . $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

Моє запитання: який принциповий спосіб я зрозуміти, який оператор використовувати? Мене конкретно бентежить потреба в елементі між і . $W_2^T$ $h$

Дякую!

neural-networks gradient

— amatsukawa
джерело

Я усвідомлюю, що пошук градієнта WTR до входів не часто робиться. Я вважаю, що це лідирує в обчисленні вбудовування слів, де у вас є можливість оптимізувати вектори слова "введення".

— amatsukawa

як ти dervie dJ / dTheta

— raaj

Відповіді:

Я вважаю, що ключовим у відповіді на це питання є вказівка на те, що множинне множення насправді є стенограмою, і тому, коли ви отримуєте рівняння, ви його фактично не використовуєте.

Фактична операція не є поелементний множення , але замість стандартного множення матриць градієнта з якобіаном , завжди .

У разі нелінійності якобіан векторів виходу нелінійності щодо векторного входу нелінійності буває діагональною матрицею. Отже, правда, що градієнт, помножений на цю матрицю, еквівалентний градієнту виходу нелінійності відносно елементу втрати, помноженому на вектор, що містить усі часткові похідні нелінійності щодо входу нелінійності, але це випливає з діагоналі якобійської. Ви повинні пройти крізь якобійський крок, щоб дійти до мультиплікаційного множення, що може пояснити вашу плутанину.

У математиці у нас є деякі нелінійність , втрата та вхід до нелінійності (це може бути будь-який тензор). Вихід нелінійності має той самий вимір ---, як говорить @Logan, функція активації визначається як елементна. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Ми хочемо

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Де - якобійський з . Розширюючи цей якобійський, отримуємо $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Ми бачимо, що він скрізь дорівнює нулю, крім діагоналі. Ми можемо зробити вектор усіх його діагональних елементів

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

А потім скористайтеся оператором, що відповідає елементу.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— user0
джерело

Щоразу, коли пропорційна функції активації, операції стають елементарними. Зокрема, використовуючи ваш приклад, - похідна зворотного розповсюдження, а - похідна активації, а їхній продукт - елементний продукт, . Це тому, що функції активації визначені як елементні операції в нейронній мережі. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Дивіться слайди лекцій cs224d, сторінка 30, це також може допомогти.

— Логан
джерело