Багаточленна логістична втрата проти (Поперечна Ентропія проти Квадратної Помилки)

Я зауважив, що Caffe (глибока рамка навчання) використовувала рівень втрат Softmax SoftmaxWithLoss як вихідний шар для більшості зразків моделі .

Наскільки мені відомо, рівень втрати Softmax - це поєднання багатошарового логістичного рівня втрат та шару Softmax .

З Кафе вони сказали це

Розрахунок градієнта рівня втрат Softmax втрат більш чисельно стабільний

Однак це пояснення не є відповіддю, якого я хочу, пояснення - це лише порівняння комбінації шару мультиноміального логістичного втрати та шару програвання Softmax замість шару за шаром. Але не порівнюйте з іншим типом функцій втрат.

Однак я хотів би дізнатися більше, які відмінності / переваги / недоліки мають ці 3 функції помилок - це багатоцінна логістична втрата , перехресна ентропія (CE) та квадратична помилка (SE) в контрольованій перспективі навчання? Будь-які підтримуючі статті?

— карфаї
джерело

Лише натяк: я думаю, ви отримаєте швидшу відповідь, якщо до своїх питань додасте тег "caffe". Також розміщення його в stackoverflow замість stackexchange може приділити йому більше уваги).

— mcExchange

Комбінація робить градієнт легким для обчислення, просто y-t. willamette.edu/~gorr/classes/cs449/classify.html

— Jingpeng Wu

Відповіді:

На мою думку, функція втрат - це об'єктивна функція, яку ми хочемо, щоб наші нейронні мережі оптимізували її ваги відповідно до неї. Тому воно є конкретним завданням, а також якось емпіричним. Щоб зрозуміти, мультиноміальна логістична втрата та перехресна ентропія втрати однакові (дивіться на http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression ). Функція вартості мультиноміального логістичного втрати подібна до цього $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

Зазвичай використовується для завдання класифікації. Square Error має рівняння типу $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

Тому його зазвичай використовують для мінімізації з використанням деяких помилок конструкції.

EDIT: @MartinThoma Вищенаведена формула втрат мультиноміальної логістики стосується лише двійкового випадку, для загального випадку вона повинна бути , де K - кількість категорій. $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— скандал
джерело

У Caffe MultinomialLogisticLoss є , тож хто тут не так?

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

— травень

Не помилково, - бінарні змінні, врешті-решт, це може бути зведено до вашої рецептури.

y^{i}

$y^i$

— beahacker

Я подумав, що логістичні втрати для багатопоштових повідомлень без другої суми, тому

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

— Мартін Тома

@MartinThoma Моя формула призначена лише для двійкового випадку, для загального випадку вона повинна бути

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— beahacker

@beahacker Скажіть, будь ласка, чому друга зведення не включена до мультимінального випадку, як вказував Мартін Тома. Я намагаюся зрозуміти, чому це робиться так. Принаймні, ти міг би вказати мені на якийсь ресурс, на який слід заглянути.

— Нандееш

Мені хотілося б дізнатися більше, які відмінності / переваги / недоліки мають ці 3 функції помилок - це мультиноміальна логістична втрата, перехресна ентропія (CE) та квадратична помилка (SE) у контрольованій перспективі навчання?

Мультиноміальна логістична втрата фактично така ж, як перехресна ентропія. Подивіться на цю функцію (функція витрат у софтмаксі ): де m - номер вибірки, K - номер класу.

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

Функція індикатора ( ) визначає, чи є внизу 0 або 1 у визначенні перехресної ентропії , яке в навчальних даних позначено як одне гаряче, і - умовна вірогідність програмної макси (q (x), як показано нижче). $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

І MSE здебільшого стосується ситуації, коли функцією зв'язку є функція єдності (розподіл відповідей слід за нормальним розподілом), стандартна лінійна регресія, тоді як поперечна ентропія, як правило, там, де функцією зв'язку є функція logit. Ось дивовижне порівняння , на яке можна звернутися.

Будь-які підтримуючі статті?

Окрім тих, що містяться у посиланнях, рекомендую вам це ілюстративне: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

— Лернер Чжан
джерело

MSE, застосований до (двійкового) класифікатора, називається Brier score.

— Дейв

КОРОТКИЙ ВІДПОВІДЬ За іншими відповідями Мультиноміальна логістична втрата та перехресна ентропія втрати однакові.

Перехресна ентропійна втрата - це функція альтернативної вартості для NN з функцією активації сигмоїдів, що вводиться штучно для усунення залежності від від рівнянь оновлення. Деякі рази цей термін уповільнює процес навчання. Альтернативні методи - регульована функція витрат. $\sigma'$

У таких типах мереж, можливо, потрібно мати ймовірності як вихід, але цього не відбувається з сигмоїдами в багаточленній мережі. Функція softmax нормалізує виходи та примушує їх у межах . Це може бути корисно, наприклад, у класифікації MNIST. $[0,1]$

ДОВГИЙ ВІДПОВІДЬ З деякими оглядами

Відповідь досить довга, але я спробую підсумувати.

Першими сучасними штучними нейронами, які були використані, є сигмоїди, функцією яких є:

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$ який має таку форму:

Крива хороша тим, що гарантує, що вихід знаходиться в діапазоні . $[0,1]$

Щодо вибору функції витрат, то природним вибором є квадратична витратна функція, похідна якої гарантовано існує, і ми знаємо, що вона має мінімум.

Тепер розглянемо NN з сигмоїдами, навченими квадратичною функцією витрат, з шарами. $L$

Ми визначаємо функцію витрат як суму квадратичних помилок у вихідному шарі для набору входів : $X$

C = \frac{1}{2 N} \sum_{x}^{N} \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \frac{1}{2N}\sum_x^N\sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

де - j-й нейрон у вихідному шарі , потрібний вихід і - кількість навчальних прикладів. $a_j^L$ $L$ $y_j$ $N$

Для простоти розглянемо помилку для одного входу:

C = \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

Тепер вихід активації для нейрона в шарі , : $j$ $\ell$ $a_j^\ell$

a_{j}^{ℓ} = \sum_{k} w_{j k}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ} = w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ}

$a_j^\ell = \sum_k w_{jk}^\ell \cdot a_j^{\ell-1}+b_j^\ell = \mathbf{w}_{j}^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell$

Більшість випадків (якщо не завжди) NN тренується за допомогою однієї з методик спуску градієнта, яка в основному полягає в оновленні ваг і зміщення невеликими кроками до напрямку мінімізації. Мета полягає в застосуванні невеликої зміни ваг і ухилів у бік напрямку, що мінімізує функцію витрат. $w$ $b$

Для невеликих кроків виконуються наступні дії:

Δ C \approx \frac{\partial C}{\partial v_{i}} Δ v_{i}

$\Delta C \approx \frac{\partial C}{\partial v_i}\Delta v_i$

Наші - ваги та ухили. Будучи функцією витрат, ми хочемо мінімізувати, тобто знаходити належне значення . Припустимо, ми обираємо , тоді: $v_i$ $\Delta v_i$

Δ v_{i} = - η \frac{\partial C}{\partial v_{i}}

$\Delta v_i = -\eta \frac{\partial C}{\partial v_i}$

Δ C \approx - η (\frac{\partial C}{\partial v_{i}})

$\Delta C \approx -\eta \left(\frac{\partial C}{\partial v_i}\right)$

що означає зміну в параметрі зменшило функції витрат з допомогою . $\Delta v_i$ $\Delta C$

Розглянемо -й вихідний нейрон: $j$

C = \frac{1}{2} (y (x) - a_{j}^{L} (x)^{2}

$C = \frac{1}{2}(y(x)-a_j^L(x)^2$

a_{j}^{L} = σ = \frac{1}{1 + e^{- (w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ})}}

$a_j^L =\sigma = \frac{1}{ 1+e^{ -(\mathbf{w}_j^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell)}}$

Припустимо, ми хочемо оновити вагу яка є вагою від нейрона у шарі до -го нейрона в шарі \ ell. Тоді ми маємо: $w_{jk}^\ell$ $k$ $\ell-1$ $j$

w_{j k}^{ℓ} \Rightarrow w_{j k}^{ℓ} - η \frac{\partial C}{\partial w_{j k}^{ℓ}}

$w_{jk}^\ell \Rightarrow w_{jk}^\ell -\eta \frac{\partial C}{\partial w_{jk}^\ell}$

b_{j}^{ℓ} \Rightarrow b_{j}^{ℓ} - η \frac{\partial C}{\partial b_{j}^{ℓ}}

$b_{j}^\ell \Rightarrow b_{j}^\ell -\eta \frac{\partial C}{\partial b_{j}^\ell}$

Взяття похідних за допомогою ланцюгового правила:

\frac{\partial C}{\partial w_{j k}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'} a_{k}^{ℓ - 1}

$\frac{\partial C}{\partial w_{jk}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma' a_k^{\ell-1}$

\frac{\partial C}{\partial b_{j}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'}

$\frac{\partial C}{\partial b_{j}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma'$

Ви бачите залежність від похідної сигмоїди (у першому є wrt у другій wrt насправді, але це не сильно змінюється, оскільки обидва є експонентами). $w$ $b$

Тепер похідна для загальної єдиної змінної сигмоїди дорівнює: $z$

\frac{d σ (z)}{d z} = σ (z) (1 - σ (z))

$\frac{d \sigma(z)}{d z} = \sigma(z)(1-\sigma(z))$

Тепер розглянемо один вихідний нейрон і припустимо, що нейрон повинен виводити замість цього він виводить значення, близьке до : ви побачите і з графіку, що сигмоїда для значень, близьких до є плоскою, тобто її похідна близька до , тобто оновлення параметра дуже повільні (оскільки рівняння оновлення залежать від . $0$ $1$ $1$ $0$ $\sigma'$

Мотивація функції перехресної ентропії

Щоб побачити, як була створена перехресна ентропія, припустимо, щойно з'ясували, що термін уповільнює процес навчання. Ми можемо задатися питанням, чи можна вибрати функцію витрат, щоб термін зник. В основному можна захотіти: $\sigma'$ $\sigma'$

\begin{aligned} \frac{\partial C}{\partial w} & = x (a - y) \\ \frac{\partial C}{\partial b} = (a - y) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial C}{\partial w} & =x \left( a - y\right)\\ \frac{\partial C}{\partial b} =\left( a - y\right) \end{aligned} \end{equation}$ З ланцюгового правила у нас є: Порівнюючи потрібне рівняння з правилом ланцюга, отримуємо Використовуючи метод прикриття:

\frac{\partial C}{\partial b} = \frac{\partial C}{\partial a} \frac{\partial a}{\partial b} = \frac{\partial C}{\partial a} σ^{'} (z) = \frac{\partial C}{\partial a} σ (1 - σ)

$\begin{equation} \frac{\partial C}{\partial b} =\frac{\partial C}{\partial a} \frac{\partial a}{\partial b } =\frac{\partial C}{\partial a}\sigma'(z) = \frac{\partial C}{\partial a} \sigma(1-\sigma) \end{equation}$

\frac{\partial C}{\partial a} = \frac{a - y}{a (1 - a)}

$\begin{equation} \frac{\partial C}{\partial a} = \frac{a-y}{a(1-a)} \end{equation}$

\frac{\partial C}{\partial a} = - [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\left[ y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$ Щоб отримати функцію повної вартості, нам слід провести середнє значення для всіх навчальних зразків де константа тут є середнім показником окремих констант для кожного прикладу навчання.

\frac{\partial C}{\partial a} = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\frac{1}{n}\sum_x\left[y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$

Існує стандартний спосіб інтерпретації крос-ентропії, який походить з області теорії інформації. Грубо кажучи, ідея полягає в тому, що перехресна ентропія - це міра подив. Ми отримуємо низький сюрприз, якщо вихід - це те, чого ми очікуємо ( ), і високий сюрприз, якщо результат несподіваний. $a$ $y$

Softmax

Для двійкової класифікації перехресна ентропія нагадує визначення в теорії інформації, і значення все ще можуть трактуватися як ймовірності.

При багаточленній класифікації це вже не відповідає дійсності: результати мають відмітити суму до . $1$

Якщо ви хочете, щоб вони дорівнювали до ви використовуєте функцію softmax, яка нормалізує результати, щоб сума дорівнювала . $1$ $1$

Також якщо вихідний шар складається з функцій softmax, термін уповільнення відсутній. Якщо ви використовуєте функцію вартості журналу ймовірності з вихідним шаром softmax, в результаті ви отримаєте форму часткових похідних, а в свою чергу рівняння оновлення, схожу на форму, знайдену для функції перехресної ентропії з сигмоїдними нейронами

Однак

— Франческо Бой
джерело