Запитання з тегом «relu»

Існує кілька функцій активації, таких як ReLU, сигмоїдний або тантан\tanh. Що відбувається, коли я змішу функції активації? Нещодавно я виявив, що Google розробив функцію активації Swish, яка є (x * sigmoid). Змінивши функцію активації, чи може вона підвищити точність для малої нейронної мережі, наприклад, проблема XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Я думаю, що перевага використання Leaky ReLU замість ReLU полягає в тому, що таким чином ми не можемо мати градієнт, що зникає. Параметрична ReLU має ту саму перевагу, з тією лише різницею, що нахил виходу для негативних входів є навчальним параметром, тоді як у Leaky ReLU - це гіперпараметр. Однак …

10 neural-networks  activation-function  relu