Вірогідність перехресної ентропії або журналу у вихідному шарі

Я читаю цю сторінку: http://neuralnetworksanddeeplearning.com/chap3.html

і було сказано, що сигмоїдний вихідний шар з перехресною ентропією досить подібний з вихідним шаром softmax з вірогідністю лог.

що трапиться, якщо я використовую сигмоїд з вірогідністю лога або softmax з перехресною ентропією у вихідному шарі? це добре? тому що я бачу, що між рівнями між перехресною ентропією є лише незначна різниця (eq.57):

С = - \frac{1}{н} \sum_{х} (у \ln а + (1 - у) \ln (1 - а))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

ймовірність журналу (екв. 80):

С = - \frac{1}{н} \sum_{х} (\ln а_{у}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax

— маліоборо
джерело

Негативна ймовірність журналу (ек.80) також відома як багатошарова перехресна ентропія (посилання: Розпізнавання шаблонів та машинне навчання Розділ 4.3.4), оскільки вони насправді є двома різними інтерпретаціями однієї і тієї ж формули.

eq.57 - негативна ймовірність журналу розподілу Бернуллі, тоді як eq.80 - негативна ймовірність логарифмічного розподілу з одним спостереженням (багатокласова версія Бернуллі).

Для проблем бінарної класифікації функція softmax виводить два значення (між 0 і 1 і сума до 1), щоб дати прогнозування кожного класу. У той час як сигмоїдна функція видає одне значення (між 0 і 1), щоб дати прогнозування одного класу (тому інший клас дорівнює 1-p).

Тому еквівалент 80 не може бути застосований безпосередньо до сигмоїдного виходу, хоча це, по суті, ті ж втрати, що і урівень.57.

Дивіться також цю відповідь .

Далі наводимо просту ілюстрацію зв'язку між (сигмоїд + бінарна перехресна ентропія) та (softmax + багатошарова перехресна ентропія) для проблем бінарної класифікації.

Скажімо, ми приймаємо як точку розбиття двох категорій, для сигмоїдного виведення це випливає, $0.5$

σ (ш х + б) = 0,5

$\sigma(wx+b)=0.5$

ш х + б = 0

$wx+b=0$ що є межею рішення у просторі функцій.

Для виведення програмного забезпечення випливає тому вона залишається тією ж моделлю, хоча вдвічі більше параметрів.

\frac{е^{ш_{1} х + б_{1}}}{е^{ш_{1} х + б_{1}} + е^{ш_{2} х + б_{2}}} = 0,5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

е^{ш_{1} х + б_{1}} = е^{ш_{2} х + б_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

ш_{1} х + б_{1} = ш_{2} х + б_{2}

$w_1x+b_1=w_2x+b_2$

(ш_{1} - ш_{2}) х + (б_{1} - б_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

Далі показані межі рішення, отримані за допомогою тез двох методів, майже однакових.

— dontloo
джерело

На які рівняння ви посилаєтесь? У книзі рівняння нумеруються по-різному. Може, це конкретне видання книги? Ви можете уточнити це? Я переглядаю книгу на сайті users.isr.ist.utl.pt/~wurmd/Livros/school/… , стор. 209 (розділ 4.3.4).

— nbro

@nbro ах вибачте за плутанину, я мав на увазі рівняння на пов’язаній сторінці, наведені у питанні.

— dontloo