Функція витрат на перехресну ентропію в нейронній мережі

11

Я переглядаю функцію витрат на перехресну ентропію, знайдену в цьому підручнику :

C = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)]

$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

Що саме ми підсумовуємо? Звичайно, це понад , але і не змінюються з . Усі є введеннями в один . навіть визначено в абзаці вище рівняння як функція від суми всіх 's та ' s. $x$ $y$ $a$ $x$ $x$ $a$ $a$ $w$ $x$

Також визначається як кількість входів у цей конкретний нейрон, правильно? Це сформульовано як "загальна кількість елементів даних про навчання" . $n$

Редагувати:

Чи правильно я вважаю це

C = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)]

$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

буде функцією витрат для всієї мережі, тоді як

C = [y \ln a + (1 - y) \ln (1 - a)]

$C = [y \ln a+(1−y)\ln(1−a)]$

була б витрата на окремий нейрон? Чи не повинна сума перевищувати кожен вихідний нейрон?

neural-networks error-propagation

— Адам12344
джерело

14

Ось як я б виразив крос-ентропійну втрату :

L (X, Y) = - \frac{1}{n} \sum_{i = 1}^{n} y^{(i)} \ln a (x^{(i)}) + (1 - y^{(i)}) \ln (1 - a (x^{(i)}))

$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$

Тут - це набір прикладів введення в навчальному наборі даних, а - це відповідний набір міток для цих прикладів введення. являє собою вихід нейронної мережі з урахуванням вхідного . $X = \left\{x^{(1)},\dots,x^{(n)}\right\}$ $Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$ $a(x)$ $x$

Кожен з або 0, або 1, і активація виходу як правило, обмежується відкритим інтервалом (0, 1) за допомогою логістичної сигмоїди . Наприклад, для одношарової мережі (що еквівалентно логістичній регресії) активація дається через де - a вагова матриця і - вектор зміщення. Для декількох шарів ви можете розширити функцію активації на щось на зразок де і - вагова матриця і зміщення першого шару, а $y^{(i)}$ $a(x)$

a (x) = \frac{1}{1 + e^{- W x - b}}

$a(x) = \frac{1}{1 + e^{-Wx-b}}$

W

$W$

b

$b$

a (x) = \frac{1}{1 + e^{- W z (x) - b}} z (x) = \frac{1}{1 + e^{- V x - c}}

$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$

V

$V$

c

$c$

z (x)

$z(x)$ - це активація прихованого шару в мережі.

Я використав (i) суперскрипт для позначення прикладів, тому що виявив, що він досить ефективний в курсі машинного навчання Ендрю Нг; інколи люди висловлюють приклади як стовпці чи рядки в матриці, але ідея залишається такою ж.

— lmjohns3
джерело

Дякую! Таким чином, це дасть нам єдине число за нашу помилку для всієї мережі в усіх наших зразках. Для зворотного розповсюдження мені потрібно знайти часткову похідну від цієї функції wrt матриці в кінцевому шарі. Як би я це зробив?

— Адам12344

Робити задню частину - це ціла окрема банка глистів! Сторінка, на яку ви посилаєтесь, містить опис похідних обчислень тощо, і є багато питань щодо зворотної підтримки на stackoverflow та на цьому веб-сайті. Спробуйте трохи озирнутися, а потім опублікувати окреме запитання, зокрема про backprop.

— lmjohns3

Це може бути корисним для вас, коли ви розумієте, що задній простір проходить через задню опору з чотирьохшаровою нейронною мережею з перехресною ентропією втратою в деталях :) cookedsashimi.wordpress.com/2017/05/06/…

— YellowPillow

5

Що саме ми підсумовуємо?

Підручник насправді досить явний:

... - загальна кількість елементів даних тренувань, сума перевищує всі входи на навчання ... $n$

Оригінальна функція вартості єдиного нейрона, наведена в навчальному посібнику (рівняння 57), також має підпис під під який повинен на це натякати. Для одного нейрона випадку немає нічого іншого підсумувати , крім навчальних прикладів, так як ми вже підсумовується за всіма вхідним ваг при обчисленні : $x$ $\Sigma$ $a$

a = \sum_{j} w_{j} x_{j} .

$a = \sum_{j} w_jx_j.$

Пізніше в цьому ж посібнику Нільсен дає вираз для функції витрат для багатошарової мультинейронової мережі (рівняння 63):

C = - \frac{1}{n} \sum_{x} \sum_{j} [y_{j} \ln a_{j}^{L} + (1 - y_{j}) \ln (1 - a_{j}^{L})] .

$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$

У цьому випадку сума перебігає як на приклади тренувань ( 's), так і на окремі нейрони у вихідному шарі ( ' s). $x$ $j$

— ali_m
джерело

Дякую за розуміння, одне питання: останнє, яке ви визначили, не є категоричною крос-ентропією, правда?

— Томмазо Герріні

Він також зазначив у своєму підручнику, що "y іноді може приймати значення проміжні між 0 і 1", але функція, яку він дав, увімкнена y, і введення активації не було. Як ми могли реалізувати проміжні значення у функції st?

— Ферас

У підручнику Нільсена, який показує одношаровий перцептрон, a = \ sigma (\ sum_ {j} w_j x_j), оскільки у вас є функція активації сигмоїдів для вихідного шару, а не = \ sum_ {j} w_j x_j

— ARAT