Яка перевага усіченого нормального розподілу в ініціалізації ваг в нейронній мережі?

Ініціалізуючи ваги з'єднання у нейромережі, що подається, важливо ініціалізувати їх випадковим чином, щоб уникнути будь-яких симетрій, які алгоритм навчання не зміг би розірвати.

Рекомендація, яку я бачив у різних місцях (наприклад, у підручнику MNIST TensorFlow ), - це використовувати усічений нормальний розподіл, використовуючи стандартне відхилення , де - кількість входів до заданий шар нейрона.$\dfrac{1}{\sqrt{N}}$$N$

Я вважаю, що стандартна формула відхилення гарантує, що зворотно розмножені градієнти не розчиняються або не посилюються занадто швидко. Але я не знаю, чому ми використовуємо усічений нормальний розподіл на відміну від звичайного нормального розподілу. Чи варто уникати рідкісних чужих ваг?

Я думаю, що це про насичення нейронів. Подумайте, у вас є така функція активації, як сигмоїд.

Якщо ваш ваговий вал отримає значення> = 2 або <= - 2, ваш нейрон не навчиться. Отже, якщо ви скоротите ваш звичайний дистрибутив, ви не матимете цієї проблеми (принаймні від ініціалізації) на основі вашої дисперсії. Я думаю, що тому, краще використовувати усічену норму взагалі.

Перевага використання усіченого нормального розподілу полягає у запобіганні генерування "мертвих нейронів" завдяки використанню relu_logits , що пояснюється тут .

Загалом слід ініціалізувати ваги з невеликою кількістю шуму для порушення симетрії та запобігання 0 градієнтам. Оскільки ми використовуємо нейрони ReLU, також є хорошою практикою ініціалізувати їх з дещо позитивним початковим ухилом, щоб уникнути "мертвих нейронів".