Чому норма партії має масштаб і зсув, що можна вивчити?

Наскільки я розумію, пакетна норма нормалізує всі вхідні характеристики шару до одиничного нормального розподілу, . Середнє значення та дисперсія оцінюються шляхом вимірювання їх значень для поточної міні-партії. $\mathcal{N}(\mu=0,\sigma=1)$ $\mu, \sigma^2$

Після нормалізації введення масштабуються та зміщуються на скалярні значення:

{\hat{х}}_{i}^{'} = γ {\hat{х}}_{i} + β

$\hat{x}_i' = \gamma \hat{x}_i + \beta$

(Виправте мене, якщо я тут помиляюся - саме тут я починаю трохи не впевнений.)

$\gamma$ та є скалярними значеннями, і є пара кожного для кожного пакетного нормованого шару. Вони вивчаються разом з гирями, використовуючи задню частину та SGD. $\beta$

Моє запитання, чи не є ці параметри надмірними, оскільки вхідні дані можна масштабувати і зміщувати будь-яким чином вагами в самому шарі. Іншими словами, якщо

у = W {\hat{х}}^{'} + б

$y = W \hat{x}' + b$

{\hat{х}}^{'} = γ \hat{х} + β

$\hat{x}' = \gamma \hat{x} + \beta$

тоді

у = W^{'} \hat{х} + б^{'}

$y = W' \hat{x} + b'$

де і . $W' = W\gamma$ $b'=W\beta + b$

Тож який сенс додавати їх у мережу вже здатні вивчити масштаб і зміни? Або я зовсім не розумію речі?

batch-normalization

— Тимммм
джерело

У книзі « Поглиблене навчання», розділ 8.7.1, є ідеальна відповідь :

Нормалізація середнього та стандартного відхилень одиниці може зменшити виразну силу нейронної мережі, що містить цей блок. Для підтримання виразної сили мережі звичайно замінювати партію прихованих одиничних активацій H на γH + β, а не просто нормованими H. Змінні γ і β - це засвоєні параметри, які дозволяють новій змінній мати будь-яке значення і стандартне відхилення. На перший погляд, це може здатися марним - чому ми встановили середнє значення 0, а потім ввели параметр, який дозволяє повернути його до будь-якого довільного значення β?

Відповідь полягає в тому, що нова параметризація може представляти те саме сімейство функцій входу, що і стара параметризація, але нова параметризація має різну динаміку навчання. У старій параметризації середнє значення H визначалося за допомогою складної взаємодії між параметрами в шарах нижче H. У новій параметризації середнє значення γH + β визначається виключно β. Нову параметризацію набагато простіше вивчити при градієнтному спуску.

— Тимммм
джерело