Запитання з тегом «activation-function»

Я вибираю функцію активації для вихідного шару залежно від потрібного мені виводу та властивостей функції активації, які я знаю. Наприклад, я вибираю сигмоїдну функцію, коли маю справу з ймовірностями, ReLU, коли я маю справу з позитивними значеннями, і лінійну функцію, коли я маю справу з загальними значеннями. У прихованих шарах …

13 neural-networks  machine-learning  math  activation-function 

Існує кілька функцій активації, таких як ReLU, сигмоїдний або тантан\tanh. Що відбувається, коли я змішу функції активації? Нещодавно я виявив, що Google розробив функцію активації Swish, яка є (x * sigmoid). Змінивши функцію активації, чи може вона підвищити точність для малої нейронної мережі, наприклад, проблема XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Я просто натрапив на концепцію покриття нейронів, яка є співвідношенням активованих нейронів та загальних нейронів у нейронній мережі. Але що означає нейрон "активуватися"? Я знаю, що таке функції активації, але що означає активація, наприклад у випадку ReLU або сигмоїдної функції?

10 neural-networks  ai-basics  concepts  activation-function 

Я думаю, що перевага використання Leaky ReLU замість ReLU полягає в тому, що таким чином ми не можемо мати градієнт, що зникає. Параметрична ReLU має ту саму перевагу, з тією лише різницею, що нахил виходу для негативних входів є навчальним параметром, тоді як у Leaky ReLU - це гіперпараметр. Однак …

10 neural-networks  activation-function  relu