2
Чи означає нормалізація партії, що сигмоїди працюють краще, ніж ReLU?
Пакетна нормалізація та ReLU - це рішення для зниклої градієнтної проблеми. Якщо ми використовуємо пакетну нормалізацію, чи повинні ми використовувати сигмоїди? Або є функції ReLU, які роблять їх корисними навіть при використанні batchnorm? Я припускаю, що нормалізація, проведена в batchnorm, посилатиме нульову активацію негативною. Чи означає це, що batchnorm вирішує …