tanh vs. sigmoid у нейронній мережі

Я заздалегідь прошу вибачення за те, що я все-таки підходжу до цього. Я намагаюся зрозуміти плюси і мінуси використання tanh (карта від 1 до 1) проти сигмоїда (карта 0 до 1) для моєї функції активації нейрона. З мого читання це звучало як незначна річ з граничними відмінностями. На практиці у зв'язку із своїми проблемами я вважаю, що сигмоїду легше тренувати і як не дивно, сигмоїда, здається, краще знайде загальне рішення Під цим я маю на увазі, що коли сигмоїдна версія закінчується навчанням, вона добре справляється з еталонним (непідготовленим) набором даних, де танг-версія, здається, зможе отримати правильні відповіді на дані тренувань, роблячи погану роботу по довідці. Це для тієї ж мережевої архітектури.

Я маю інтуїцію, що за допомогою сигмоїди нейрону легше майже повністю вимкнутись, таким чином не забезпечуючи введення в наступні шари. Тану тут важче, оскільки йому потрібно повністю скасувати свої введення, інакше він завжди надає значення наступному шару. Можливо, ця інтуїція помилкова.

Довгий пост. Підсумок, що таке торгівля, і чи має це мати велике значення?

У книзі Саймона Хайкіна "Нейронні мережі: всеосяжний фонд" є таке пояснення, з якого я цитую:

Щоб час навчання було мінімізоване, слід уникати використання ненульових середніх даних. Тепер, якщо стосується вектора сигналу застосованого до нейрона в першому прихованому шарі багатошарового персептрона, легко видалити середнє значення з кожного елемента x перед його застосуванням до мережі. А як щодо сигналів, поданих до нейронів у решті прихованих та вихідних шарів мережі? Відповідь на це питання полягає у типі функції активації, що використовується в мережі. Якщо функція активації несиметрична, як у випадку сигмоїдної функції, вихід кожного нейрона обмежується інтервалом [ 0 , 1 ] . Такий вибір вводить джерело$\bf x$$\bf x$$[0,1]$ систематичного упередженнядля тих нейронів, розташованих поза першим шаром мережі. Для подолання цієї проблеми нам потрібно використовувати антисиметричну функцію активації, таку як гіперболічна дотична функція. При такому останньому виборі виходу кожного нейрона дозволяється приймати як позитивні, так і негативні значення в інтервалі , і в цьому випадку, можливо, його середнє значення дорівнює нулю. Якщо підключення до мережі велике, навчання із поширенням на зворотному рівні з антисиметричними функціями активації може призвести до швидшої конвергенції, ніж аналогічний процес з несиметричними функціями активації, для чого також є емпіричні дані (LeCun et al., 1991).$[-1,1]$

Цитується посилання:

• Y. LeCun, I. Kanter, SASolla: "Властивості другого порядку поверхонь помилок: час навчання та узагальнення", Досягнення в системах нейронної обробки інформації, т. 3, арк. 918-924, 1991.

Ще одна цікава посилання:

• Y. LeCun, L. Bottou, G. Orr та K. Muller: " Efficient BackProp ", в Orr, G. and Muller K. (Eds), Neural Networks: Tricks of trade, Springer, 1998

Ці дві функції активації дуже схожі, але компенсуються. У моїй оригінальній мережі не було термінів упередженості. З моменту додавання упереджень все набагато стабільніше. Виходячи з мого досвіду, я можу сказати, що одна чи інша з них може працювати краще для конкретної програми із складних, можливо, незрозумілих причин, але правильний підхід полягає у включенні термінів зміщення, щоб залежність від зміщення активації можна зменшити чи усунути.

$\tanh$

$y_i$$i$$p_i$$i$

$p_i$$\tanh$