Чому де-факто стандартна сигмоїдна функція настільки популярна в (неглибоких) нейронних мережах та логістичній регресії?$\frac{1}{1+e^{-x}}$

Чому б нам не скористатися багатьма іншими похідними функціями, з більш швидким часом обчислень або повільнішим розпадом (тому зникаючий градієнт трапляється менше). У Вікіпедії небагато прикладів щодо сигмоподібних функцій . Один з моїх улюблених із повільним занепадом та швидким розрахунком - .$\frac{x}{1+|x|}$

EDIT

Питання відрізняється від Вичерпного переліку функцій активації в нейронних мережах із плюсами / мінусами, оскільки мене цікавить лише "чому" і лише для сигмоїди.

Цитуючи себе з цієї відповіді на інше запитання:

У розділі 4.2 Розпізнавання образів та машинного навчання (Springer 2006) Бішоп показує, що логіт виникає природно як форма заднього розподілу ймовірностей у байєсівському трактуванні двокласової класифікації. Потім він показує, що те саме стосується дискретно розподілених функцій, а також підмножини родини експоненціальних розподілів. Для багатокласової класифікації логіт узагальнює до нормалізованої експоненціальної або софтмакс функції.

Це пояснює, чому цей сигмоїд використовується в логістичній регресії.

Що стосується нейронних мереж, у цьому дописі в блозі пояснюється, як різним нелінійностям, включаючи logit / softmax та probit, що використовуються в нейронних мережах, можна дати статистичну інтерпретацію і тим самим мотивацію. Основна ідея полягає в тому, що багатошарову нейронну мережу можна розглядати як ієрархію узагальнених лінійних моделей; відповідно до цього, функції активації - це функції зв’язку, які в свою чергу відповідають різним припущенням розподілу.

Однією з причин, що ця функція може здаватися більш "природною", ніж інші, є те, що це, можливо, обернена канонічним параметром розподілу Бернуллі: (Функція в межах експонента називається канонічним параметром.)

Можливо, більш переконливе обґрунтування виходить із теорії інформації, де сигмоїдну функцію можна вивести як модель максимальної ентропії . Грубо кажучи, сигмоїдна функція передбачає мінімальну структуру і відображає наше загальне невігластво щодо основної моделі.

Я задаю собі це питання місяцями. У відповідях CrossValided та Quora всі перераховані приємні властивості логістичної сигмоїдної функції, але все здається, що ми вміло здогадалися про цю функцію. Те, що я пропустив, було виправданням його вибору. Нарешті я знайшов його у розділі 6.2.2.2 книги «Глибоке навчання» Бенджо (2016) . Моїми власними словами:

Коротше кажучи, ми хочемо, щоб логарифм виводу моделі був придатним для градієнтної оптимізації логістичної ймовірності навчальних даних.

Мотивація

• Ми хочемо лінійну модель, але ми не можемо використовувати безпосередньо як .$z = w^T x + b$$z \in (-\infty, +\infty)$
• Для класифікації має сенс припустити розподіл Бернуллі та моделювати його параметр в .$\theta$$P(Y=1) = \theta$
• Отже, нам потрібно зіставити від до щоб зробити класифікацію.$z$$(-\infty, +\infty)$$[0, 1]$

Чому функція логістичної сигмоїди?

Відсічення з дає нульовий градієнт для поза . Нам потрібен сильний градієнт всякий раз, коли прогноз моделі невірний, оскільки ми вирішуємо логістичну регресію з градієнтним спуском. Для логістичної регресії рішення закритої форми не існує.$z$$P(Y=1|z) = max\{0, min\{1, z\}\}$$z$$[0, 1]$

Логістична функція має приємну властивість асимптотизувати постійний градієнт, коли прогноз моделі невірний, враховуючи, що ми використовуємо Максимальну оцінку ймовірності для відповідності моделі. Це показано нижче:

Для чисельних переваг можна оцінити максимальну ймовірність, зменшивши негативну ймовірність даних про навчання. Отже, наша витратна функція:

Оскільки , ми можемо зосередитись на випадку . Отже, питання полягає в тому, як моделювати враховуючи, що у нас .$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

Очевидними вимогами до функції відображення в є:$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ має бути обертально симетричним wrt , тобто , так що перегортання знаків класів не впливає на функцію витрат.$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$ має бути зменшуваним, безперервним та диференційованим.

Ці вимоги виконуються за допомогою зміни масштабів сигмоїдних функцій . І і їх виконують. Однак сигмоїдні функції відрізняються залежно від їх поведінки під час градієнтної оптимізації вірогідності ймовірностей. Різницю ми можемо побачити, включивши логістичну функцію у нашу функцію витрат.$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

Насичення для$Y=1$

Для і , вартість однієї неправильно класифікованої вибірки (тобто ) становить:$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

Ми можемо бачити, що існує лінійна складова . Тепер ми можемо розглянути два випадки:$-z$

• Коли велике, передбачення моделі було правильним, оскільки . У функції витрат термін додає асимптоти до для великого . Таким чином, він приблизно скасовує вихід, що призводить до приблизно нульової вартості для цього зразка та слабкого градієнта. Це має сенс, оскільки модель вже передбачає правильний клас.$z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• Коли мало (а велика), прогноз моделі було НЕ правильно, так . У функції витрат термін додає асимптоти до для малих . Таким чином, загальна вартість для цього зразка становить приблизно , тобто градієнт wrt становить приблизно . Це полегшує моделлю виправити неправильне передбачення на основі постійного градієнта, який вона отримує. Навіть для дуже маленького не відбувається насичення, яке може спричинити зникнення градієнтів.$z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$

Насичення для$Y=0$

Вище ми зосередили увагу на випадку . Для функція витрат поводиться аналогічно, забезпечуючи сильні градієнти лише тоді, коли прогноз моделі невірний.$Y=1$$Y=0$

Це функція витрат для :$J(z)$$Y=1$

Це функція softplus в горизонтальному напрямку. Для це функція softplus.$Y=0$

Альтернативи

Ви згадали альтернативи логістичної сигмоїдної функції, наприклад . У нормі це означатиме, що ми моделюємо .$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

Під час MLE функцією витрат для буде тоді$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$ ,

що виглядає приблизно так:

Ви можете бачити, що градієнт функції витрат стає слабкішим і слабшим для .$z \rightarrow - \infty$

Оскільки в первісному запитанні згадувалася проблема градієнта, що розпадається, я просто хотів би додати, що для проміжних шарів (де не потрібно інтерпретувати активації як ймовірності класу або виходи регресії), інші нелінійності часто віддають перевагу сигмоїдним функціям. Найбільш помітними є випрямлячі функції (як у ReLU ), які є лінійними над позитивною областю та нульовими над негативними. Однією з їх переваг є те, що вони менше піддаються проблемі градієнта, що розпадається, оскільки похідна є постійною над позитивною областю. ReLU стали популярними до того, що сигмоїди, ймовірно, вже не можна назвати де-факто стандартом.

Глоро та ін. (2011 р . ) . Нейрові мережі глибоких розріджених випрямлячів