Запитання з тегом «batch-normalization»

Отже, останнім часом з'явився документ про нормалізацію шару . Є також реалізація цього на Keras. Але я пам’ятаю, існують документи під назвою « Нормалізація періодичної партії» (Cooijmans, 2016) та « Batch Normalized Recurrent Neural Networks» (Laurent, 2015). Яка різниця між цими трьома? Є цей розділ, пов’язаний із роботою, який я …

30 deep-learning  rnn  normalization  batch-normalization 

Пакетна нормалізація та ReLU - це рішення для зниклої градієнтної проблеми. Якщо ми використовуємо пакетну нормалізацію, чи повинні ми використовувати сигмоїди? Або є функції ReLU, які роблять їх корисними навіть при використанні batchnorm? Я припускаю, що нормалізація, проведена в batchnorm, посилатиме нульову активацію негативною. Чи означає це, що batchnorm вирішує …

9 deep-learning  batch-normalization