2
Коли використовувати (He або Glorot) звичайну ініціалізацію над рівномірним init? І які наслідки це стосується пакетної нормалізації?
Я знав, що Залишкова мережа (ResNet) зробила звичайну ініціалізацію популярною. У ResNet використовується нормальна ініціалізація He , тоді як перший шар використовує He рівномірну ініціалізацію. Я переглянув папір ResNet і папір "Deving Deep into Rectifiers" (Папір він ініціалізації), але не знайшов жодної згадки про нормальний init vs uniform init. Також: …