Запитання з тегом «activation-function»

2
Як вибрати функцію активації?
Я вибираю функцію активації для вихідного шару залежно від потрібного мені виводу та властивостей функції активації, які я знаю. Наприклад, я вибираю сигмоїдну функцію, коли маю справу з ймовірностями, ReLU, коли я маю справу з позитивними значеннями, і лінійну функцію, коли я маю справу з загальними значеннями. У прихованих шарах …

1
Що відбувається, коли я змішу функції активації?
Існує кілька функцій активації, таких як ReLU, сигмоїдний або тантан\tanh. Що відбувається, коли я змішу функції активації? Нещодавно я виявив, що Google розробив функцію активації Swish, яка є (x * sigmoid). Змінивши функцію активації, чи може вона підвищити точність для малої нейронної мережі, наприклад, проблема XOR?

2
Що означає активувати нейрон в нейронній мережі?
Я просто натрапив на концепцію покриття нейронів, яка є співвідношенням активованих нейронів та загальних нейронів у нейронній мережі. Але що означає нейрон "активуватися"? Я знаю, що таке функції активації, але що означає активація, наприклад у випадку ReLU або сигмоїдної функції?

1
Які переваги ReLU проти Leaky ReLU та Parametric ReLU (якщо такі є)?
Я думаю, що перевага використання Leaky ReLU замість ReLU полягає в тому, що таким чином ми не можемо мати градієнт, що зникає. Параметрична ReLU має ту саму перевагу, з тією лише різницею, що нахил виходу для негативних входів є навчальним параметром, тоді як у Leaky ReLU - це гіперпараметр. Однак …
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.