У класифікаторі softmax навіщо використовувати функцію exp для нормалізації?

Навіщо використовувати softmax на відміну від стандартної нормалізації? У області коментарів у верхній відповіді на це питання @Kilian Batzner порушив 2 питання, які також мене дуже бентежать. Здається, ніхто не дає пояснень, крім чисельних переваг.

У мене з’являються причини використання крос-ентропійної втрати, але як це стосується софтмаксу? Ви сказали, що "функцію softmax можна розглядати як намагання мінімізувати перехресну ентропію між прогнозами та істиною". Припустимо, я використовував би стандартну / лінійну нормалізацію, але все-таки використовую крос-ентропійну втрату. Тоді я б також намагався мінімізувати перехресну ентропію. Тож як софтмакс пов'язаний з перехресною ентропією, крім чисельних переваг?

Щодо ймовірнісного погляду: яка мотивація перегляду ймовірностей журналу? Міркування здається трохи схожим на "Ми використовуємо e ^ x у софтмаксі, тому що ми інтерпретуємо х як імовірність журналу". З тими ж міркуваннями, які ми могли б сказати, ми використовуємо e ^ e ^ e ^ x у softmax, тому що ми інтерпретуємо x як log-log-log-імовірності (тут, звичайно, перебільшують). Я отримую чисельні переваги софмаксу, але яка теоретична мотивація його використання?

machine-learning deep-learning

— Ганс
джерело

Він диференційований, призводить до негативних результатів (таких, які були б необхідні для ймовірності, щоб перехресна ентропія могла бути обчислена), і поводиться як функція max, яка доречна в класифікаційній установці. Ласкаво просимо на сайт!

— Емре

@Emre Спасибі! Але що означає "поводиться як максимальна функція"? Крім того, якщо у мене є інша функція, яка також диференціюється, монотонна збільшується і призводить до негативних результатів, чи можу я використовувати її для заміни функції exp у формулі?

— Ганс

Коли ви нормалізуєтеся за допомогою , найбільший аргумент відображається на 1, а решта відображається на нулі, внаслідок зростання експоненціальної фукції.

max

$\max$

— Емре

Відповіді:

Це більше, ніж просто числовий. Швидке нагадування про softmax:

P (y = j | x) = \frac{e^{x_{j}}}{\sum_{k = 1}^{K} e^{x_{k}}}

$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$

Там , де є вхідний вектор з довжиною , рівній числу класів . Функція softmax має 3 дуже приємні властивості: 1. вона нормалізує ваші дані (виводить правильний розподіл ймовірностей), 2. є диференційованою та 3. використовує згадуваний вами досвід. Кілька важливих моментів: $x$ $K$

Функція втрати безпосередньо не пов'язана з softmax. Можна використовувати стандартну нормалізацію і все ще використовувати перехресну ентропію.
Функцію "hardmax" (тобто аргмакс) не можна диференціювати. Softmax дає хоча б мінімальну кількість ймовірності для всіх елементів вихідного вектора, і тому добре диференціюється, отже, термін "soft" у softmax.
Тепер я переходжу до вашого питання. в SoftMax є природною експоненційної функцією. Перш ніж нормалізуватись, перетворимо як у графіку : $e$ $x$ $e^x$

Якщо дорівнює 0, то , якщо дорівнює 1, то , а якщо дорівнює 2, то ! Величезний крок! Це називається нелінійним перетворенням наших ненормалізованих оцінок журналу. Цікавою властивістю експоненціальної функції в поєднанні з нормалізацією в софтмаксі є те, що високі показники в стають набагато більш імовірними, ніж низькі. $x$ $y=1$ $x$ $y=2.7$ $x$ $y=7$ $x$

Приклад . Скажіть , і ваш показник журналу - вектор . Проста функція argmax виводить: $K=4$ $x$ $[2, 4, 2, 1]$

[0, 1, 0, 0]

$[0, 1, 0, 0]$

Аргмакс - це мета, але вона не є диференційованою, і ми не можемо навчити свою модель з нею :( Проста нормалізація, яка є диференційованою, видає такі ймовірності:

[0.2222, 0.4444, 0.2222, 0.1111]

$[0.2222, 0.4444, 0.2222, 0.1111]$

Це дійсно далеко від аргмаксу! :( Беручи до уваги, що програмне забезпечення Softmax:

[0.1025, 0.7573, 0.1025, 0.0377]

$[0.1025, 0.7573, 0.1025, 0.0377]$

Це набагато ближче до аргмаксу! Оскільки ми використовуємо природний показник, ми значно збільшуємо ймовірність найбільшої оцінки та зменшуємо ймовірність нижчих балів порівняно зі стандартною нормалізацією. Звідси і "макс" у софтмаксі.

— вега
джерело

Чудова інформація. Однак, замість того, щоб використовувати e, що робити з використанням константи сказати 3, або 4? Чи буде результат однаковим?

— Чак Ян Чен

@CheokYanCheng, так. Але eмає приємнішу похідну;)

— vega

Я бачив, що результат softmax зазвичай використовується як ймовірність приналежності до кожного класу. Якщо вибір 'е' замість іншої постійної є довільним, не має сенсу бачити це з точки зору вірогідності, правда?

— javierdvalle

@vega Вибачте, але я все ще не бачу, як це відповідає на питання: чому б не використовувати e ^ e ^ e ^ e ^ e ^ x з тих самих причин? Поясніть, будь ласка,

— Гульзар

@jvalle це не eте, що робить його інтерпретаційним як вірогідність, це факт, що кожен елемент виведення програмного забезпечення обмежений у [0,1], а цілі суми до 1.

— vega

Окрім пояснення веги,

давайте визначимо загальну софтмакс: де - константа> = 1

P (y = j | x) = \frac{ψ^{x_{j}}}{\sum_{k = 1}^{K} ψ^{x_{k}}}

$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$

ψ

$\psi$

якщо , то ви досить далеко від argmax, як згадував @vega. $\psi=1$

Давайте припустимо, , тепер ви досить близькі до аргмаксу, але у вас також є дійсно невеликі числа для негативних значень і великі числа для позитивних. Ці числа легко переповнюють арифметичну межу з поплавковою точкою (наприклад, максимальна межа numpy float64 - ). На додаток до цього, навіть якщо вибір який набагато менший за , фреймворки повинні реалізувати більш стабільну версію softmax (множення як чисельника, так і знаменника на постійну ), оскільки результати стають малими, щоб можна було виразити з такою точністю. $\psi=100$ $10^{308}$ $\psi=e$ $100$ $C$

Отже, ви хочете вибрати константу, достатньо велику, щоб добре наблизити аргмакс, а також досить малу, щоб виразити ці великі та малі числа в обчисленнях.

І звичайно, також має досить приємну похідну. $e$

— комуністбаккал
джерело

Це питання дуже цікаве. Я не знаю точної причини, але думаю, що наступна причина могла бути використана для пояснення використання експоненціальної функції. Цей пост натхненний статистичною механікою та принципом максимальної ентропії.

Я поясню це на прикладі з зображень, які складаються з зображень із класу , зображень із класу , ... та зображень із класу . Тоді ми припускаємо, що наша нейромережа змогла застосувати нелінійне перетворення на наші зображення, таким чином, щоб ми могли призначити 'рівень енергії' всім класам. Ми припускаємо, що ця енергія знаходиться в нелінійному масштабі, що дозволяє нам лінійно розділяти зображення. $N$ $n_1$ $\mathcal{C}_1$ $n_2$ $\mathcal{C}_2$ $n_K$ $\mathcal{C}_K$ $E_k$

Середня енергія пов'язана з іншими енергіями таким співвідношенням $\bar{E}$ $E_k$

N \bar{E} = \sum_{k = 1}^{K} n_{k} E_{k} . (*)

$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$

При цьому ми бачимо, що загальну кількість зображень можна обчислити як наступну суму

N = \sum_{k = 1}^{K} n_{k} . (* *)

$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$

Основна ідея принципу максимальної ентропії полягає в тому, що кількість зображень у відповідних класах розподіляється таким чином, щоб число можливих комбінацій для заданого розподілу енергії було максимальним. Простіше кажучи, система не дуже схожа на перехід у стан, у якому ми маємо лише клас вона також не перейде у стан, у якому у нас однакова кількість зображень у кожному класі. Але чому це так? Якби всі зображення були в одному класі, система мала б дуже низьку ентропію. Другий випадок також був би дуже неприродною ситуацією. Більш ймовірно, що у нас буде більше зображень із помірною енергією та менше зображень із дуже високою та дуже низькою енергією. $n_1$

Ентропія збільшується з кількістю комбінацій, в яких ми можемо розділити зображень на , , ..., класи зображень з відповідною енергією. Ця кількість комбінацій задається мультиноміальним коефіцієнтом $N$ $n_1$ $n_2$ $n_K$

(\begin{matrix} N! \\ n_{1}!, n_{2}!, \dots, n_{K}! \end{matrix}) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} .

$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$

Ми спробуємо максимізувати це число, вважаючи, що у нас є нескінченно багато зображень . Але його максимізація має також обмеження рівності та . Цей тип оптимізації називається обмеженою оптимізацією. Ми можемо вирішити цю проблему аналітично, використовуючи метод множників Лагранжа. Вводимо множники Лагранжа і для обмежень рівності і вводимо функцію Lagrange . $N\to \infty$ $(*)$ $(**)$ $\beta$ $\alpha$ $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$

L (n_{1}, n_{2}, \dots, n_{k}; α, β) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} + β [\sum_{k = 1}^{K} n_{k} E_{k} - N \bar{E}] + α [N - \sum_{k = 1}^{K} n_{k}]

$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$

Як ми припускали, що ми можемо також припустити і використовувати наближення Стірлінга для факторіалу $N\to \infty$ $n_k \to \infty$

\ln n! = n \ln n - n + O (\ln n) .

$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$

Зауважте, що це наближення (перші два доданки) є лише асимптотичним, це не означає, що це наближення буде сходитися додля . $\ln n!$ $n\to \infty$

Часткова похідна функції Лагранжа відносно призведе до $n_\tilde{k}$

\frac{\partial L}{\partial n_{\tilde{k}}} = - \ln n_{\tilde{k}} - 1 - α + β E_{\tilde{k}} .

$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$

Якщо встановити цю часткову похідну до нуля, ми можемо знайти

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\exp (1 + α)} . (* * *)

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$

Якщо ми повернемо це назад у ми можемо отримати $(**)$

\exp (1 + α) = \frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k}) .

$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$

Якщо ми повернемо це в ми отримаємо щось, що повинно нагадувати нам про функцію softmax $(***)$

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k})} .

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$

Якщо ми визначимо як вірогідність класу по ми отримаємо щось, що насправді схоже на функцію softmax $n_\tilde{k}/N$ $\mathcal{C}_\tilde{k}$ $p_\tilde{k}$

p_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\sum_{k = 1}^{K} \exp (β E_{k})} .

$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$

Отже, це свідчить про те, що функція softmax - це функція, яка максимізує ентропію в розподілі зображень. З цього моменту має сенс використовувати це як розподіл зображень. Якщо ми встановимо ми точно отримаємо визначення функції softmax для виводу . $\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ $k^{\text{th}}$

— MachineLearner
джерело