Повний перелік функцій активації в нейронних мережах із плюсами / мінусами

Чи є довідники (документи), які містять вичерпний перелік функцій активації в нейронних мережах разом з їх плюсами / мінусами (і в ідеалі деякі вказівники на публікації, де вони були успішними чи не такими успішними)?

neural-networks references

— Франк Дернонкур
джерело

Я недостатньо знаю про ANN, але якщо функції активації істотно не відрізняються за формою, їх буде дуже важко розрізнити. Для обговорення аналогічної ситуації ви можете побачити мою відповідь тут: Різниця між logit і probit моделями .

— gung

ні, це робить досить велику різницю.

— Віліямі

en.wikipedia.org/wiki/Activation_function - хороший ресурс; ви можете використовувати багато інших, у тому числі sin(x), див. openreview.net/pdf?id=Sks3zF9eg .

— Пьотр Мігдал

Відеоурок

— vinay kumar

Відповіді:

143

Я почну тут складати список тих, про кого я дізнався до цих пір. Як сказав @marcodena, плюси і мінуси складніші, оскільки це, здебільшого, лише евристика, засвоєна на практиці, але я думаю, що принаймні є список того, що їм не зашкодить.

По-перше, я чітко визначу нотацію, щоб не було плутанини:

Позначення

Це позначення з книги Нілсена .

Нейронна мережа Feedforward - це багато шарів нейронів, з'єднаних між собою. Він займає вхід, тоді цей вхід "протікає" через мережу, і нейронна мережа повертає вихідний вектор.

Більш формально, виклик активація (він же вихід) з нейрона в шарі, де є елементом вхідного вектора. $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

Тоді ми можемо пов’язати вхід наступного шару з попереднім через наступне відношення:

а_{j}^{i} = σ (\sum_{к} (ш_{j к}^{i} \cdot а_{к}^{i - 1}) + б_{j}^{i})

$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

де

- функція активації, $\sigma$
- вага віднейрону ушарі донейрона ушарі , $w^i_{jk}$ $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$
- зміщеннянейрона ушарі , і $b^i_j$ $j^{th}$ $i^{th}$
являє значення активаціїнейрона ушарі . $a^i_j$ $j^{th}$ $i^{th}$

Іноді ми пишемо щоб представляти , іншими словами, значення активації нейрона перед застосуванням функції активації. $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

введіть тут опис зображення

Для більш коротких позначень ми можемо написати

а^{i} = σ (ш^{i} \times а^{i - 1} + б^{i})

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

Для того, щоб використовувати цю формулу для обчислення вихідного сигналу прямого зв'язку мережі для деяких вхідного , встановити , то обчислити , де є число шарів. $I \in \mathbb{R}^n$ $a^1 = I$ $a^2, a^3, \ldots, a^m$ $m$

Функції активації

(далі ми напишемо замість для читабельності) $\exp(x)$ $e^x$

Ідентичність

Також відома як функція лінійної активації.

а_{j}^{i} = σ (z_{j}^{i}) = z_{j}^{i}

$a^i_j = \sigma(z^i_j) = z^i_j$

Ідентичність

Крок

а_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & якщо z_{j}^{i} < 0 \\ 1 & якщо z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$

Крок

Частково лінійний

Виберіть кілька та , що є нашим "діапазоном". Все менше, ніж цей діапазон, буде 0, і все більше, ніж цей діапазон, буде 1. Все інше є лінійно-інтерпольованим між. Формально: $x_{\min}$ $x_{\max}$

а_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & якщо z_{j}^{i} < х_{хв} \\ м z_{j}^{i} + б & якщо х_{хв} \leq z_{j}^{i} \leq х_{макс} \\ 1 & якщо z_{j}^{i} > х_{макс} \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$

Де

м = \frac{1}{х_{макс} - х_{хв}}

$m = \frac{1}{x_{\max}-x_{\min}}$

б = - м х_{хв} = 1 - м х_{макс}

$b = -m x_{\min} = 1 - m x_{\max}$

Частково лінійний

Сигмоїдний

а_{j}^{i} = σ (z_{j}^{i}) = \frac{1}{1 + досвід (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$

Сигмоїдний

Додатковий журнал-журнал

а_{j}^{i} = σ (z_{j}^{i}) = 1 - досвід (- досвід (z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$

Додатковий журнал-журнал

Біполярний

а_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} - 1 & якщо z_{j}^{i} < 0 \\ 1 & якщо z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$

Біполярний

Біполярна сигмоїда

а_{j}^{i} = σ (z_{j}^{i}) = \frac{1 - досвід (- z_{j}^{i})}{1 + досвід (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$ Біполярна сигмоїда

Тан

а_{j}^{i} = σ (z_{j}^{i}) = тан (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$

Тан

Лекун Тан

Див. Ефективна підтримка .

а_{j}^{i} = σ (z_{j}^{i}) = 1.7159 тан (\frac{2}{3} z_{j}^{i})

$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$

Лекун Тан

Масштаб:

LeCun's Tanh Scaled

Жорсткий Тан

а_{j}^{i} = σ (z_{j}^{i}) = макс (- 1, хв (1, z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$

Жорсткий Тан

Абсолютний

а_{j}^{i} = σ (z_{j}^{i}) = ∣ z_{j}^{i} ∣

$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$

Абсолютний

Випрямляч

Також відомий як Випрямлений лінійний блок (ReLU), Макс або Функція пандуса .

а_{j}^{i} = σ (z_{j}^{i}) = макс (0, z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$

Випрямляч

Модифікації ReLU

Це деякі функції активації, з якими я грав, які, мабуть, мають дуже гарну продуктивність для MNIST з загадкових причин.

а_{j}^{i} = σ (z_{j}^{i}) = макс (0, z_{j}^{i}) + \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$

Масштаб:

а_{j}^{i} = σ (z_{j}^{i}) = макс (0, z_{j}^{i}) + гріх (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$

Масштаб:

Гладкий випрямляч

Також відомий як гладкий випрямлений лінійний блок, гладкий макс або м'який плюс

а_{j}^{i} = σ (z_{j}^{i}) = журнал (1 + досвід (z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$

Гладкий випрямляч

Логіт

а_{j}^{i} = σ (z_{j}^{i}) = журнал (\frac{z_{j}^{i}}{(1 - z_{j}^{i})})

$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$

Логіт

Масштаб:

Логіт масштабований

Пробіт

а_{j}^{i} = σ (z_{j}^{i}) = \sqrt{2} {ерф}^{- 1} (2 z_{j}^{i} - 1)

$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$

$\text{erf}$

Як варіант, він може бути виражений як

а_{j}^{i} = σ (z_{j}^{i}) = ϕ (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$

$\phi$

Пробіт

Масштаб:

Пробіт масштабується

Косинус

Дивіться випадкові мийки для кухні .

а_{j}^{i} = σ (z_{j}^{i}) = \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$

Косинус

Softmax

а_{j}^{i} = \frac{досвід (z_{j}^{i})}{\sum_{к} досвід (z_{к}^{i})}

$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$

Це трохи дивно, оскільки вихід одного нейрона залежить від інших нейронів у цьому шарі. Це також стає важко обчислити, як $z^i_j$ $\exp(z^i_j)$ $z^i_j$ $0$

$\log(a^i_j)$

журнал (а_{j}^{i}) = журнал (\frac{досвід (z_{j}^{i})}{\sum_{к} досвід (z_{к}^{i})})

$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$

журнал (а_{j}^{i}) = z_{j}^{i} - журнал (\sum_{к} досвід (z_{к}^{i}))

$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$

Тут нам потрібно використовувати трюк log-sum-exp :

Скажімо, ми проводимо обчислення:

журнал (е^{2} + е^{9} + е^{11} + е^{- 7} + е^{- 2} + е^{5})

$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$

Спочатку спочатку відсортуємо наші експоненти за величиною:

журнал (е^{11} + е^{9} + е^{5} + е^{2} + е^{- 2} + е^{- 7})

$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$

$e^{11}$ $\frac{e^{-11}}{e^{-11}}$

журнал (\frac{е^{- 11}}{е^{- 11}} (е^{11} + е^{9} + е^{5} + е^{2} + е^{- 2} + е^{- 7}))

$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$

журнал (\frac{1}{е^{- 11}} (е^{0} + е^{- 2} + е^{- 6} + е^{- 9} + е^{- 13} + е^{- 18}))

$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

журнал (е^{11} (е^{0} + е^{- 2} + е^{- 6} + е^{- 9} + е^{- 13} + е^{- 18}))

$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

журнал (е^{11}) + журнал (е^{0} + е^{- 2} + е^{- 6} + е^{- 9} + е^{- 13} + е^{- 18})

$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

11 + журнал (е^{0} + е^{- 2} + е^{- 6} + е^{- 9} + е^{- 13} + е^{- 18})

$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

Потім ми можемо обчислити вираз праворуч і взяти журнал його. Це добре робити, тому що ця сума дуже мала $\log(e^{11})$ $e^{-11}$ $\leq 0$

$m=\max(z^i_1, z^i_2, z^i_3, ...)$

журнал (\sum_{к} досвід (z_{к}^{i})) = м + журнал (\sum_{к} досвід (z_{к}^{i} - м))

$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$

Наша функція softmax стає:

а_{j}^{i} = досвід (журнал (а_{j}^{i})) = досвід (z_{j}^{i} - м - журнал (\sum_{к} досвід (z_{к}^{i} - м)))

$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$

Похідною функції softmax також в якості додаткового сигналу є:

\frac{г σ (z_{j}^{i})}{г z_{j}^{i}} = σ^{'} (z_{j}^{i}) = σ (z_{j}^{i}) (1 - σ (z_{j}^{i}))

$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$

Maxout

$z$ $a^i_j$

$n$

а_{j}^{i} = \underset{к \in [1, н]}{макс} с_{j к}^{i}

$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$

де

с_{j к}^{i} = а^{i - 1} ∙ ш_{j к}^{i} + б_{j к}^{i}

$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$

$\bullet$

$W^i$ $i^{\text{th}}$ $W^i$ $W^i_j$ $j$ $i-1$

$W^i$ $W^i_j$ $j$ $W^i_{jk}$ $k$ $j$ $i-1$

$b^i$ $b^i_j$ $j$ $i$

$b^i$ $i$ $b^i_j$ $b^i_{jk}$ $k$ $j^{\text{th}}$

$w^i_j$ $b^i_j$ $w^i_{jk}$ $a^{i-1}$ $i-1$ $b^i_{jk}$

Мережі радіальної основи

Функціональні мережі радіальної основи - це модифікація нейронних мереж Feedforward, де замість цього використовується

а_{j}^{i} = σ (\sum_{к} (ш_{j к}^{i} \cdot а_{к}^{i - 1}) + б_{j}^{i})

$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

$w^i_{jk}$ $k$ $\mu^i_{jk}$ $\sigma^i_{jk}$

$\rho$ $\sigma^i_{jk}$ $a^i_j$ $z^i_{jk}$

z_{j к}^{i} = \sqrt{‖ (а^{i - 1} - {мк}_{j к}^{i} ‖} = \sqrt{\sum_{ℓ} (а_{ℓ}^{i - 1} - {мк}_{j к ℓ}^{i})^{2}}

$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$

$\mu^i_{jk\ell}$ $\ell^\text{th}$ $\mu^i_{jk}$ $\sigma^i_{jk}$

z_{j к}^{i} = \sqrt{(а^{i - 1} - {мк}_{j к}^{i})^{Т} Σ_{j к}^{i} (а^{i - 1} - {мк}_{j к}^{i})}

$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$

$\Sigma^i_{jk}$

Σ_{j к}^{i} = діагностувати (σ_{j к}^{i})

$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

$\Sigma^i_{jk}$ $\sigma^i_{jk}$ $a^{i-1}$ $\mu^i_{jk}$

Вони справді просто говорять про те, що відстань махаланобіса визначається як

z_{j к}^{i} = \sqrt{\sum_{ℓ} \frac{(а_{ℓ}^{i - 1} - {мк}_{j к ℓ}^{i})^{2}}{σ_{j к ℓ}^{i}}}

$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$

$\sigma^i_{jk\ell}$ $\ell^\text{th}$ $\sigma^i_{jk}$ $\sigma^i_{jk\ell}$

$\Sigma^i_{jk}$ $\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

$a^i_j$

а_{j}^{i} = \sum_{к} ш_{j к}^{i} ρ (z_{j к}^{i})

$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$

У цих мережах вони вирішують множитися на ваги після застосування функції активації з причин.

$\mu^i_{jk}$ $\sigma^i_{jk}$ $a^i_j$

Також дивіться тут .

Функції радіальної основи функції активації мережі

Гаусса

ρ (z_{j к}^{i}) = досвід (- \frac{1}{2} (z_{j к}^{i})^{2})

$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$

Гаусса

Багатоквадратичний

$(x, y)$ $(z^i_j, 0)$ $(x, y)$

ρ (z_{j к}^{i}) = \sqrt{(z_{j к}^{i} - х)^{2} + у^{2}}

$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$

Це з Вікіпедії . Це не обмежено і може мати будь-яке позитивне значення, хоча мені цікаво, чи є спосіб його нормалізувати.

$y=0$ $x$

Багатоквадратичний

Зворотний багатоквадратичний

Те саме, що квадратичне, крім перевернутого:

ρ (z_{j к}^{i}) = \frac{1}{\sqrt{(z_{j к}^{i} - х)^{2} + у^{2}}}

$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$

Зворотний багатоквадратичний

* Графіка із графіків intmath за допомогою SVG .

— Філіїда
джерело

Ласкаво просимо в CV. +6 це казково інформативно. Сподіваюся, ми побачимо більше подібного в майбутньому.

— gung

\log (1 + \exp (x))

$\log(1+\exp(x))$

Гаразд, я думаю, що я додав Logit, Probit та Complementar log-log, однак я не розумію ці теми, тому я, можливо, неправильно зрозумів їх письмову форму. Це правильно?

— Філліїда

Це був би цікавий документ із приємним списком посилань. Наприклад, arxiv.org/abs/1505.03654 . Не соромтеся зв’язатися зі мною, якщо ви вирішили написати документ і хочете отримати інші посилання.

— Хунафу

хтось повинен оновити це за допомогою Elu, Leaky ReLU, PReLU та RReLU.

— Віліямі

Один такий список, хоча і не дуже вичерпний: http://cs231n.github.io/neural-networks-1/

Поширені функції активації

Кожна функція активації (або нелінійність ) приймає єдине число і виконує на ньому певну фіксовану математичну операцію. Є кілька функцій активації, з якими ви можете зіткнутися на практиці:

Зліва: Сигмоїдна нелінійність стискає реальні числа в межах між [0,1] Праворуч: Тон нелінійності стискає реальні числа до [-1,1].
$\sigma(x) = 1 / (1 + e^{-x})$ і зображено на зображенні вгорі зліва. Як уже згадувалося в попередньому розділі, воно приймає дійсне значення і «розбиває» його в діапазоні від 0 до 1. Зокрема, великі негативні числа стають 0, а великі додатні числа - 1. Сигмоїдна функція часто бачила використання оскільки він має приємну інтерпретацію як швидкість стрільби нейрона: від взагалі не випалу (0) до повністю насиченого випалу при передбачуваній максимальній частоті (1). На практиці сигмоїдна нелінійність останнім часом не вийшла з ладу і її рідко застосовують. У нього є два основних недоліки:

Сигмоїди насичують і вбивають градієнти . Дуже небажаною властивістю сигмоїдного нейрона є те, що коли активація нейрона насичується в будь-якому хвості 0 або 1, градієнт у цих областях майже дорівнює нулю. Нагадаємо, що під час зворотного розповсюдження цей (локальний) градієнт буде помножений на градієнт виходу цього ворота для всієї мети. Тому, якщо локальний градієнт дуже малий, він ефективно "вб'є" градієнт, і майже жоден сигнал не буде надходити через нейрон до його ваги та рекурсивно до його даних. Крім того, потрібно бути особливо обережними при ініціалізації ваг сигмоїдних нейронів для запобігання насичення. Наприклад, якщо початкові ваги занадто великі, то більшість нейронів стане насиченим, і мережа ледве навчиться.

$x > 0$ $f = w^Tx + b$ $w$ $f$ ). Це може ввести небажану динаміку зигзагоподібних змін у оновленнях градієнта для ваг. Однак зауважте, що як тільки ці градієнти будуть додані через групу даних, остаточне оновлення для ваг може мати різні знаки, що дещо пом'якшує цю проблему. Отже, це незручність, але воно має менш серйозні наслідки порівняно з насиченою проблемою активації, описаною вище.

$\tanh(x) = 2 \sigma(2x) -1$

Зліва: функція активації лінійного випрямленого випрямлення (ReLU), яка дорівнює нулю, коли х <0, а потім лінійна з нахилом 1, коли х> 0. Праворуч: Діаграма від Крижевського та ін. (pdf) документ, що вказує на 6-кратне покращення конвергенції з блоком ReLU порівняно з блоком tanh.
$f(x) = \max(0, x)$

(+) Встановлено, що він значно прискорюється (наприклад, коефіцієнт 6 у Крижевського та ін. ) Конвергенцію стохастичного градієнтного спуску порівняно з сигмоїдними / танг-функціями. Стверджується, що це пов’язано з його лінійною, ненасичуючою формою.

(+) Порівняно з танг / сигмоїдними нейронами, які передбачають дорогі операції (експоненти тощо), ReLU може бути реалізований шляхом простого встановлення порогу матриці активацій у нуль.

(-) На жаль, підрозділи ReLU можуть бути тендітними під час тренувань і можуть "померти". Наприклад, великий градієнт, що протікає через нейрон ReLU, може призвести до оновлення ваг таким чином, що нейрон ніколи більше не активується в будь-якій точці даних. Якщо це станеться, то градієнт, що протікає через одиницю, назавжди буде нульовим з цієї точки. Тобто підрозділи ReLU можуть безповоротно загинути під час навчання, оскільки вони можуть вибити з колектора даних. Наприклад, ви можете виявити, що до 40% вашої мережі можуть бути "мертвими" (тобто нейрони, які ніколи не активуються протягом усього навчального набору даних), якщо рівень навчання встановлений занадто високим. При правильному встановленні рівня навчання це рідше є проблемою.

$f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$ $\alpha$ є невеликою постійною. Деякі люди повідомляють про успіх у цій формі функції активації, але результати не завжди узгоджуються. Нахил в негативній області також можна перетворити на параметр кожного нейрона, як це спостерігається в нейронах PReLU, введеному в Delving Deep в випрямлячі , від Kaiming He et al., 2015. Однак, послідовність користі для завдань в даний час незрозумілий.

$f(w^Tx + b)$ $\max(w_1^Tx+b_1, w_2^Tx + b_2)$ . Зауважте, що і ReLU, і Leaky ReLU є особливим випадком такої форми (наприклад, для ReLU ми маємо $w_1, b_1 = 0$ ). Таким чином, нейрон Maxout користується всіма перевагами блоку ReLU (лінійний режим роботи, без насичення) і не має своїх недоліків (відмирає ReLU). Однак, на відміну від нейронів ReLU, він подвоює кількість параметрів для кожного окремого нейрона, що призводить до високої загальної кількості параметрів.

На цьому завершується наше обговорення найбільш поширених типів нейронів та їх функцій активації. Як останній коментар, в одній мережі дуже рідко змішувати та співставляти різні типи нейронів, хоча принципової проблеми з цим не існує.

TLDR : " Який тип нейронів я повинен використовувати? " Використовуйте нелінійність ReLU, будьте уважні зі швидкістю навчання та, можливо, стежте за часткою "мертвих" одиниць у мережі. Якщо це стосується вас, спробуйте Leaky ReLU або Maxout. Ніколи не використовуйте сигмоподібні. Спробуйте tanh, але очікуйте, що він буде працювати гірше, ніж ReLU / Maxout.

Ліцензія:

Ліцензія MIT (MIT)

Copyright (c) 2015 Андрій Карпаті

Дозвіл надається безкоштовно будь-якій особі, яка отримує копію цього програмного забезпечення та пов'язаних з ним файлів документації ("Програмне забезпечення"), здійснювати обробку в Програмному забезпеченні без обмежень, включаючи без обмеження права на використання, копіювання, модифікацію, об'єднання , публікувати, поширювати, субліцензувати та / або продавати копії Програмного забезпечення та дозволити особам, яким надається Програмне забезпечення, робити це за умови дотримання наступних умов:

Вищезазначене повідомлення про авторські права та це повідомлення про дозвіл повинні міститись у всіх копіях або значній частині Програмного забезпечення.

ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ надається "ЯК Є Є", БЕЗ ГАРАНТІЇ БУДЬ-ЯКОГО РОЗУМУ, ЕКСПРЕССУ АБО НЕ ВПРАВЛЕНО, Включаючи НЕ ОБМЕЖЕНІ ГАРАНТІЯМИ ПРОДАЖНОСТІ, ФІТНІСНОСТІ ДЛЯ ЧАСНОГО МЕТА І НЕФІНФОРМУВАННЯ. НІ В ЯКІ НЕ БУДУТЬСЯ АВТОРИ АБО ВЛАСНИКИ ПРАВИЛЬНОГО ПРАВА НЕ БУТЬ ВІДПОВІДАЛЬНІ за будь-яку вимогу, збитки чи іншу відповідальність, навіть якщо це відбувається у договорі, ТОРТІ АБО ІНШИМИ, НЕ ВІДПОВІДАЮТЬСЯ, АБО ІЗ ЗВ'ЯЗКУ ПРО ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ АБО ВИКОРИСТОВУЄТЬСЯ ІЛИ ВИКОРИСТАННЯ ДЛЯ ДІЛЬНОСТІ ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ. *

Інші посилання:

функція активації tanh проти функції активації сигмоїдів

— Франк Дернонкур
джерело

Я не думаю, що існує список із плюсами та мінусами. Функції активації сильно залежать від додатків, і вони також залежать від архітектури вашої нейронної мережі ( ось, наприклад, ви бачите застосування двох функцій softmax, подібних сигмоподібним).

Ви можете знайти деякі дослідження щодо загальної поведінки функцій, але я думаю, у вас ніколи не буде визначеного та остаточного списку (про що ви питаєте ...).

Я ще студент, тому вказую те, що знаю досі:

тут ви знайдете кілька думок про поведінку танху та сигмоїдів із зворотним розповсюдженням. Тан є більш родовими, але сигмоїди ... (завжди буде "але")
У глибоких розріджених випрямних нейронних мережах Glorot Xavier та ін вони заявляють, що випрямлячі пристрої є більш біологічно правдоподібними, і вони працюють краще, ніж інші (сигмоїд / танг)

— marcodena
джерело

Це "правильна" відповідь. Можна скласти список, але плюси і мінуси повністю залежать від даних. Насправді, функції активації навчання набагато розумніші в теорії. Причиною, що на цьому недостатньо зосереджено дослідження, є те, що сигмоїда "просто працює". Зрештою, ваш єдиний виграш - це швидкість конвергенції, яка часто не є важливою

— runDOSrun

Тільки задля повноти на чудову відповідь Даніелі, є й інші парадигми, де одна випадково «крутить колесо» на вагах та / або типу активацій: машини з рідким станом , екстремальні навчальні машини та мережі ехо-стану .

Один із способів думати про ці архітектури: резервуар - це якесь ядро, як у SVM, або один великий прихований шар у простому FFNN, де дані проектуються в деякий гіперпростір. Фактичного навчання немає, резервуар відновлюється до тих пір, поки не буде досягнуто задовольняючого рішення.

Також дивіться цю приємну відповідь .

— shuriken x blue
джерело

Статтю про останні функції активації можна знайти в

" Функції активації: порівняння тенденцій практики та досліджень для глибокого навчання " Чігозі Енініни Нванкпа, Вініфреда Ійома, Ентоні Гачагана та Стівена Маршалла

Глибокі нейронні мережі успішно використовуються в різних областях, що розвиваються, для вирішення складних проблем реального світу з можливо більш глибокими навчальними архітектурами (DL), що розробляються на сьогодні. Для досягнення цих найсучасніших виступів архітектури DL використовують функції активації (AF) для виконання різноманітних обчислень між прихованими шарами та вихідними шарами будь-якої заданої архітектури DL. У цьому документі представлено опис існуючих АФ, які використовуються в програмах для глибокого навчання, та висвітлено останні тенденції використання функцій активації для програм глибокого навчання. Новизною цього документу є те, що він збирає більшість AF, використовуваних у DL, та окреслює сучасні тенденції у застосуванні та використанні цих функцій у практичних розгортаннях на основі сучасних результатів досліджень. Ця компіляція допоможе у прийнятті ефективних рішень у виборі найбільш підходящої та відповідної функції активації для будь-якої програми, готової до розгортання. Цей документ є своєчасним, оскільки більшість науково-дослідних робіт щодо ФП висвітлює подібні роботи та результати, в той час як цей документ буде першим, який зібрав тенденції застосування програм АФ на практиці проти результатів досліджень з літератури, знайдених на сьогодні в глибокому навчанні.

— Sycorax
джерело