Функція Softmax vs Sigmoid в логістичному класифікаторі?

62

Що визначає вибір функції (Softmax vs Sigmoid) у логістичному класифікаторі?

Припустимо, є 4 вихідні класи. Кожна з наведених вище функцій дає ймовірність правильного виходу кожного класу. То який із них взяти за класифікатор?

— мач
джерело

16

Функція softmax - це не що інше, як узагальнення сигмоїди, тому не зовсім зрозуміло, що ви маєте на увазі під «softmax vs. sigmoid».

— dsaxton

2

Це справа з сигмоїдою. Коли ми використовуємо сигмоїд, один клас має ймовірність

\exp (β^{T} x) / (\exp (β^{T} x) + 1)

$\exp(\beta^T x) / (\exp(\beta^T x) + 1)$ а інший має ймовірність

1 / (\exp (β^{T} x) + 1)

$1 / (\exp(\beta^T x) + 1)$ .

— dsaxton

3

Плакат Reddit робить відмінність, яку я вважаю неправильною або, принаймні, не має значення. Незалежно від того, чи є один з класів ваговим чи ні, це лише питання зміщення балів, що не впливає на ймовірності.

— dsaxton

2

Можливий дублікат двійкової та багаточленної логістичної регресії

— Франк Дернонкурт

3

"не зовсім зрозуміло, що ви маєте на увазі під" softmax vs. sigmoid "." " трохи під заголовком, є суть питання - дуже легко пропустити, я знаю. Плюс, це хороша назва направляти запити google, щоб прийти сюди, щоб відповісти, що саме було запропоновано.

— michael

77

Функція сигмовидної використовується для двох класів логістичної регресії, в той час як SoftMax функція використовується для мультіклассіруют логістичної регресії (він же MaxEnt, полиномиальной логістичної регресії, SoftMax регресії, максимальної ентропії по класифікатору).

У двокласовій логістичній регресії прогнозовані ймовірності наступні, використовуючи сигмоїдну функцію:

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β_{0} \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = 1 - Pr (Y_{i} = 0) = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$

У багатокласовій логістичній регресії з класами прогнозовані ймовірності виглядають наступним чином, використовуючи функцію softmax: $K$

\begin{aligned} Pr (Y_{i} = k) & = \frac{e^{β_{k} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$

Можна помітити, що функція softmax - це розширення сигмоїдної функції до випадку багатокласового, як пояснено нижче. Давайте розглянемо багатокласну логістичну регресію з класами: $K=2$

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{β_{0} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{0} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{e^{(β_{0} - β_{1}) \cdot X_{i}}}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = \frac{e^{β_{1} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{1} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{1}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$

з . Ми бачимо, що ми отримуємо ті ж ймовірності, що і в двокласовій логістичній регресії за допомогою сигмоїдної функції. Wikipedia розширюється дещо більше з цього приводу. $\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

— Франк Дернонкур
джерело

1

Я наївний у цьому, але це я бачу багато часу β = - (β0 − β1) Що може бути поясненням цього? Наскільки мені відомо в сигмоїдах β був би вектором. І вони зазвичай є одним для даного пробігу. Тоді як приходять β0 і β1 на малюнку?

— Ішан Бхатт

1

@IshanBhatt цей коментар може допомогти.

— Том Хейл

Як не дивно, я все ще можу повернутися до багатокласників за допомогою

— сигмоїди

15

Насправді вони рівнозначні, в тому сенсі, що одне може перетворитися на інше.

Припустимо, що ваші дані представлені вектором довільної розмірності, і ви створили для нього двійковий класифікатор, використовуючи афінну трансформацію з наступним софтмаксом: $\boldsymbol{x}$

(\begin{matrix} z_{0} \\ z_{1} \end{matrix}) = (\begin{matrix} w_{0}^{T} \\ w_{1}^{T} \end{matrix}) x + (\begin{matrix} b_{0} \\ b_{1} \end{matrix}),

$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$

P (C_{i} | x) = softmax (z_{i}) = \frac{e^{z_{i}}}{e^{z_{0}} + e^{z_{1}}}, i \in {0, 1} .

$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$

Перетворимо його в еквівалентний двійковий класифікатор, який використовує сигмоїд замість софтмакс. Перш за все, ми маємо вирішити, яка ймовірність того, що ми хочемо вивести сигмоїду (що може бути для класу або ). Цей вибір абсолютно довільний, тому я вибираю клас . Тоді мій класифікатор матиме форму: $C_0$ $C_1$ $C_0$

z^{'} = w^{' T} x + b^{'},

$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$

P (C_{0} | x) = σ (z^{'}) = \frac{1}{1 + e^{- z^{'}}},

$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$

P (C_{1} | x) = 1 - σ (z^{'}) .

$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$

Класифікатори еквівалентні, якщо ймовірності однакові, тому ми повинні накласти:

σ (z^{'}) = softmax (z_{0})

$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$

Заміняючи , і їх виразами у вигляді і і робимо кілька прямих алгебраїчним маніпулюванням, ви можете переконатися, що рівність вище виконується, якщо і лише якщо і задано: $z_0$ $z_1$ $z'$ $\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$ $\boldsymbol{x}$ $\boldsymbol{w}'$ $b'$

w^{'} = w_{0} - w_{1},

$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$

b^{'} = b_{0} - b_{1} .

$\begin{equation} b' = b_0-b_1. \end{equation}$

— Д ...
джерело

@null Добре, якщо ви запитаєте це, то ви не зрозуміли мого пояснення. Дозвольте мені вирішити вашу конкретну проблему: якщо ви скажете мені, що ви подаєте свої дані сигмоїді, то це повинно бути одновимірне число, . Під час подачі його до сигмоїди, ви отримуєте ймовірність того, що опиниться в одному з ваших двох класів, наприклад, : . Тоді ймовірність знаходження у дорівнює: . Тепер давайте замінимо вашу сигмоподію на softmax. (Далі буде).

x

$x$

x

$x$

C_{0}

$C_0$

P (C_{0} | x) = σ (x)

$P(C_0|x)=σ(x)$

x

$x$

C_{1}

$C_1$

P (C_{1} | x) = 1 - P (C_{0} | x) = σ (x)

$P(C_1|x)=1−P(C_0|x)=σ(x)$

— D ...

(Продовження). Для того щоб застосувати софтмакс до проблеми класифікації з двома класами, вам потрібно перетворити ваші одновимірні дані в двовимірний вектор. Тому нам потрібно визначити наші та . Виберемо . Оскільки має задовольняти , маємо , тому . Тепер маємо і . Використовуючи це, ви можете негайно переконатися, що .

w_{0}

$w_0$

w_{1}

$w_1$

w_{0} = 1

$w_0=1$

w_{1}

$w_1$

w' = w_{0} - w_{1}

$w′=w_0−w_1$

1 = 1 - w_{1}

$1=1−w_1$

w_{1} = 0

$w_1=0$

z_{0} = w_{0} x = x

$z_0=w_0x=x$

z_{1} = w_{1} x = 0

$z_1=w_1x=0$

σ (x) = softmax (z_{0})

$σ(x)=\text{softmax}(z_0)$

— D ...

Більше того, будь-яке поєднання і яке задовольняє (тобто ), призведе до точно такого ж результату. Це показує, що у softmax є один зайвий параметр. Хоча це може здатися дурним, воно насправді є цікавою властивістю, оскільки дозволяє нормалізувати параметри , що сприяє чисельній стабільності алгоритму навчання та умовиводу. Але це лише додатковий коментар, не важливо відповідати на ваше запитання :)

w_{0}

$w_0$

w_{1}

$w_1$

w^{'} = w_{0} - w_{1}

$w'=w_0-w_1$

1 = w_{1} - w_{0}

$1=w_1-w_0$

w_{i}

$w_i$

— D ...

Дуже дякую. Зрозумів. У вашому першому коментарі ймовірність ймовірно, повинна бути . Тепер я розумію, яка ідея трансформації.

P (C_{1} | x)

$P(C_1|x)$

1 - σ (x)

$1-\sigma(x)$

— null

Радий, що ти це зрозумів;) Так, це помилка друку, очевидно, це повинно бути . Дякуємо, що вказали на це!

P (C_{1} | x) = 1 - σ (x)

$P(C_1|x)=1 - \sigma(x)$

— D ...

8

Я помітив, що люди часто звертаються до цього питання, коли шукають, чи використовувати сигмоїд проти софтмакс у нейронних мережах. Якщо ви один із тих, хто будує класифікатор нейронної мережі, ось як вирішити, чи застосовувати сигмоїд чи софтмакс до вихідних значень вихідної мережі з вашої мережі:

Якщо у вас проблема з класифікацією на багато міток = є кілька «правильних відповідей» = виходи НЕ взаємовиключні, тоді використовуйте сигмоїдну функцію на кожному вихідному вихідному продукті незалежно. Сигмоїд дозволить вам мати високу ймовірність для всіх своїх класів, деяких з них або жодного з них. Приклад: класифікація захворювань на рентгенівському знімку грудної клітки. Зображення може містити пневмонію, емфізему та / або рак, або жоден із цих результатів.
Якщо у вас є проблема класифікації в багатьох класах = є лише одна «правильна відповідь» = виходи взаємно виключають, тоді використовуйте функцію softmax. Softmax примусить привести, що сума ймовірностей ваших вихідних класів дорівнює одиниці, тому для збільшення ймовірності конкретного класу ваша модель повинна відповідно зменшити ймовірність принаймні одного з інших класів. Приклад: класифікація зображень із набору даних MNIST рукописних цифр. Одне зображення цифри має лише одну справжню ідентичність - зображення не може бути одночасно 7 і 8.

Довідка: для більш детального пояснення, коли використовувати сигмоїд проти софтмакс у дизайні нейронної мережі, включаючи приклади розрахунків, дивіться цю статтю: "Класифікація: Сигмоїд проти Софтмакс".

— veritessa
джерело

-1

Додаючи до всіх попередніх відповідей - хотілося б зазначити той факт, що будь-яка проблема класифікації в багатьох класах може бути зведена до кількох задач класифікації бінарних методів, використовуючи метод "один проти всіх", тобто маючи сигмоїди C (коли C - число класи) та інтерпретація кожної сигмоїди є ймовірністю перебування в цьому конкретному класі чи ні, та прийняття максимальної ймовірності.

Так, наприклад, у прикладі цифр MNIST ви можете використовувати softmax або десять сигмоїдів. Насправді це робить Ендрю Нг у своєму курсі ML Coursera. Ви можете перевірити тут , як Andrew Ng використовували 10 сигмоид для мультіклассіруют класифікації (адаптовано з Matlab для пітона мною), і ось моя SoftMax адаптації в пітона.

Крім того, варто зазначити, що, хоча функції еквівалентні (з метою багатокласової класифікації), вони дещо відрізняються за своєю реалізацією (особливо щодо їх похідних та способів подання у).

Велика перевага використання декількох двійкових класифікацій (тобто Sigmoids) над однією багатокласовою класифікацією (тобто Softmax) - полягає в тому, що якщо ваша softmax занадто велика (наприклад, якщо ви використовуєте вбудовуване словник розміром словника розміром 10 К або більше, що використовується гаряче слово) ) - це може бути неефективним для його навчання. Що ви можете зробити замість цього, це взяти невелику частину вашого навчального набору і використовувати його для тренування лише невеликої частини сигмоїдів. Це головна ідея негативного відбору проб .

— Девід Рефаелі
джерело

Функції не еквівалентні, тому що мережа softmax обмежена для отримання розподілу ймовірностей по класах як виходу: вектор невід'ємний і дорівнює 1. Одиниці сигмоїдів невід'ємні, але вони можуть підсумовувати будь-яке число між 0 і ; це не допустимий розподіл ймовірностей. Ця відмінність має вирішальне значення для характеристики того, як дві функції відрізняються.

C

$C$

C

$C$

— Відновіть Моніку

Яке ваше визначення рівнозначного? Моє: ви можете без будь-якої проблеми використовувати або для класифікації в багатьох класах. Крім того, будь-яка багатокласова класифікація, яка використовує softmax, може бути перетворена на бінарні класифікації, що застосовуються проти всіх, що використовують сигмоїди. Чому я повинен дбати про розподіл результатів, підсумовуючи 1?

— Девід Рефаелі

Ваші аргументи щодо класифікації на багато міток показують, чому сигмоїд та софтмакс не є рівнозначними. При використанні softmax збільшення ймовірності одного класу зменшує загальну ймовірність усіх інших класів (через суму-до-1). Використовуючи сигмоїд, збільшення ймовірності одного класу не змінює загальну ймовірність інших класів. Це спостереження є причиною того, що сигмоїд правдоподібний для багатозначної класифікації: один приклад може належати до класівСума до 1 також є причиною того, що софтмакс не підходить для класифікації на кілька міток.

0, 1, 2, \dots, C

$0, 1, 2, \dots , C$

— Відновіть Моніку

Я втратив тебе. Для всіх практичних цілей, які мені відомі, кілька сигмоїдів = 1 софтмакс. Я навіть додав випадок негативного відбору проб, де кілька сигмоїдів насправді мають перевагу перед софтмакс.

— Девід Рефаелі