Різні визначення функції перехресної ентропії

Я почав вивчати нейронні мережі з навчального посібника з нейронної роботи та вивчення навчальних точок. Зокрема, у 3-му розділі є розділ про функцію логічної ентропії та визначається втрата поперечної ентропії як:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Однак, читаючи вступ Tensorflow , втрата поперечної ентропії визначається як:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (при використанні тих же символів, що і вище)

Тоді, шукаючи навколо, щоб знайти, що відбувається, я знайшов ще один набір приміток: ( https://cs231n.github.io/linear-classify/#softmax-classifier ), який використовує зовсім інше визначення перехресної ентропійної втрати, хоча це час для класифікатора softmax, а не для нейронної мережі.

Може хтось пояснить мені, що тут відбувається? Чому існують розбіжності btw. як люди визначають втрату перехресної ентропії як? Чи є лише якийсь всеохоплюючий принцип?

Ці три визначення по суті однакові.

1) Вступ Tensorflow ,

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

2) Для двійкових класифікацій вона стає і через обмеження і , його можна переписати як що є тим же, що і в 3-му розділі .С = - $j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$

3) Більше того, якщо - один гарячий вектор (що зазвичай трапляється для класифікаційних міток), а є єдиним ненульовим елементом, то перехресні втрати ентропії відповідного зразка у до С х = - Σ J ( у J пер в J ) = - ( 0 + 0 + . . . + у до пров до ) = - пер в до$y$$y_k$

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

У примітках cs231 перехресна ентропійна втрата одного зразка подається разом із нормалізацією програмного забезпечення як

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

У третьому розділі рівняння (63) - це поперечна ентропія, застосована до декількох сигмоїдів (які не можуть дорівнювати 1), тоді як у введенні Tensoflow перехресна ентропія обчислюється на вихідному шарі softmax.

Як пояснив dontloo, обидві формули по суті є еквівалентними для двох класів, але це не тоді, коли розглядається більше двох класів. Softmax має сенс для багатокласових класів з ексклюзивними класами ( тобто, коли існує лише одна мітка на зразок, що дозволяє однокольорове кодування міток), тоді як (кілька) сигмоїдів можна використовувати для опису багатозначної проблеми (тобто з можливими позитивними зразками для кількох класів).

Дивіться також цю іншу відповідь dontloo .