Шар Softmax в нейромережі

43

Я намагаюся додати шар softmax до нейронної мережі, що навчається із зворотним розповсюдженням, тому я намагаюся обчислити його градієнт.

SoftMax вихід $h_j = \frac{e^{z_j}}{\sum{e^{z_i}}}$ де $j$ - номер вихідного нейрона.

Якщо я виведу це, то отримаю

$\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j)$

Подібно до логістичної регресії. Однак це неправильно, оскільки моя чисельна градієнтна перевірка не вдається.

Що я роблю неправильно? У мене була думка, що мені потрібно обчислити також поперечні похідні (тобто $\frac{\partial{h_j}}{\partial{z_k}}$ ), але я не впевнений, як це зробити і зберегти розмірність градієнта однаковою, щоб вона підходила для процесу зворотного поширення.

neural-networks

— Побіг
джерело

3

Ви повинні вдосконалити назву свого запитання, оскільки він не говорить про додавання загального шару softmax до NN, оскільки ви запитуєте конкретно про те, як не вдалося перевірити градієнт. Я настійно пропоную змінити заголовок на "Чому зворотна розмноження перестає працювати правильно, коли я додаю шар softmax до моєї нейронної мережі".

— Чарлі Паркер

43

Я почуваюся трохи погано щодо надання власної відповіді на це, тому що вона досить добре захоплена амебою та джампа, за винятком, можливо, остаточної інтуїції про те, як якобійців можна повернути до вектора.

Ви правильно вивели градієнт діагоналі Якобієвої матриці, тобто це потрібно сказати

${\partial h_i \over \partial z_j}= h_i(1-h_j)\;\;\;\;\;\;: i = j$

і як це заявила амеба, вам також доведеться вивести з діагоналі записи якобіан, які дають

${\partial h_i \over \partial z_j}= -h_ih_j\;\;\;\;\;\;: i \ne j$

Ці два визначення поняття зручно поєднувати за допомогою конструкції, званої дельтою Кронекера , тому визначення градієнта стає

${\partial h_i \over \partial z_j}= h_i(\delta_{ij}-h_j)$

$\left[J \right]_{ij}=h_i(\delta_{ij}-h_j)$

$\nabla h_i$ $x_i$

$[\nabla x]_k = \sum\limits_{i=1} \nabla h_{i,k}$

Враховуючи вищевказану матрицю Якобія, вона реалізується тривіально як добуток матриці та вихідний вектор помилки:

$\vec{\sigma_l} = J\vec{\sigma_{l+1}}$

Якщо шар softmax є вашим вихідним шаром, то комбінування його з моделлю витрат на перехресну ентропію спрощує обчислення просто

$\vec{\sigma_l} = \vec{h}-\vec{t}$

$\vec{t}$ $\vec{h}$

— Мранц
джерело

\vec{σ_{l}} = (σ_{l, 1}, σ_{l, 2}, . . ., σ_{l, k})

$\vec{\sigma_l} = (\sigma_{l,1}, \sigma_{l,2}, ..., \sigma_{l,k})$

σ_{l, j} = \frac{\partial C}{\partial z_{j}}

$\sigma_{l,j} = \frac{\partial C}{\partial z_j}$

Так, це правильно.

— Мранц

Чи не могли б хто-небудь пояснити, що таке дельта дельта в дельті Кронекера та як їх обчислити?

— danijar

Я затримався на цій проблемі на деякий час. Для уточнення. У вас є вектор (попередньо softmax), а потім ви обчислюєте softmax. Оскільки значення softmax залежать від усіх вхідних значень, потрібна фактична матриця якобі. Потім ви берете матрицю якобіану і сумите скорочення рядків, щоб отримати векторний рядок, який ви використовуєте для спуску градієнта, як зазвичай. Чи все це на 100% правильно?

— harveyslash

14

Похідна помилкова. Вона повинна бути,

\frac{\partial h_{j}}{\partial z_{k}} = h_{j} δ_{k j} - h_{j} h_{k}

$\frac{\partial h_{j}}{\partial z_{k}} = h_{j}\delta_{kj}-h_{j}h_{k}$

$C$

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n})

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n})$

де суперіндекс проходить над набором вибірки, - значення k-го компонента цілі для n-го зразка. Тут передбачається, що ви використовуєте схему кодування 1-з-С, тобто . У такому випадку всі t 'дорівнюють нулю, крім компонента, що представляє його відповідний клас, який є одним. $t_{k}^{n}$ $t_{k}^{n}$

Зауважте, що т є постійними. Отже, мінімізація цього функціоналу еквівалентна мінімізації,

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n}) + \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln t_{k}^{n} = - \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln \frac{y_{k} (x^{n})}{t_{k}^{n}}

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n}) + \sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln t_{k}^{n} = -\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln \frac{y_{k}(\boldsymbol{x}^{n})}{t_{k}^{n}}$

що має перевагу в тому, що якобіанець приймає дуже зручну форму, а саме:

\frac{\partial E}{\partial z_{j}} = h_{j} - t_{j}

$\frac{\partial E}{\partial z_{j}} = h_{j}-t_{j}$

Я б рекомендував вам отримати копію нейронних мереж Bishop для розпізнавання візерунків . ІМХО досі найкраща книга з нейронних мереж.

— jpmuc
джерело

14

Кожен вихід softmax залежить від усіх входів, тому градієнт - це справді ціла матриця Якобії. Ви правильно обчислили , але вам також потрібно якщо . Я думаю, якщо ти можеш отримати перший вираз, ти також можеш легко отримати другий вираз. $\partial_j h_j = \frac{\partial h_j}{\partial z_j}=h_j(1-h_j)$ $\partial_k h_j=-h_jh_k$ $j \neq k$

Я не впевнений, яку проблему ви бачите із зворотним розповсюдженням: у шарі softmax у вас є виходи та входи, тому помилка з кожного виводу повинна поширюватися на кожен вхід, і саме тому вам потрібен весь якобійський. З іншого боку, зазвичай у вас буде функція витрат, пов'язана з результатом програмного забезпечення, наприклад, де - бажані результати (коли ви робите класифікацію, то часто один з них дорівнює 1 , а інші до 0). Тоді насправді вас цікавить , який можна обчислити за допомогою ланцюгового правила, що призводить до акуратного виразу, і справді є вектором (а не матрицею). $j$ $j$

C = - \sum_{j} t_{j} \log h_{j},

$C=-\sum_j t_j \log h_j,$

t_{j}

$t_j$

\frac{\partial C}{\partial z_{j}}

$\frac{\partial C}{\partial z_j}$

— Амеба каже Відновити Моніку
джерело

1

Я спробую краще описати свою проблему, наприклад, у цьому навчальному посібнику ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm , мені потрібно по-елементарному помножити ваги і дельти на похідну (крок № 3). Тож якщо я маю повну матрицю якобіана, розміри не відповідають. Дякую.

— Ран

Чи знаєте ви, як діяти, якщо це не софтмакс, а звичайний прихований шар? Уявіть, що кожна одиниця на цьому шарі отримує входи з усіх одиниць попереднього шару (тобто цей шар "повністю пов'язаний"), як правило. Тоді вам також потрібно повернути помилки назад через цей шар, а похідні також утворюють матрицю якобіан. Якщо ви плутаєтесь, як це зробити, то ваше плутанина не пов'язане з softmax.

— Амеба каже: Відновити Моніку

1

Я успішно реалізував це для лінійних та сигмоїдних шарів, тому що похідна є вектором, тому у мене не було проблем із розмірами.

— Ран

Вибачте, Ран, можливо, я просто дурний, але якщо у вас сигмоїдний шар повністю пов'язаний з попереднім шаром, то вихід (або вхід) до кожної одиниці матиме похідне відносно вхідного з'єднання з кожного блоку на попередній шар, тобто всі похідні утворюють 2D матрицю, n'est-ce pas?

j

$j$

i

$i$

— амеба каже, що відбудеться Моніка