Що пояснює приклад того, чому нормалізацію партії потрібно робити з обережністю?

Я читав документ про нормалізацію партії [1], і в ній був один розділ, де йдеться про приклад, намагаючись показати, чому нормалізацію потрібно робити обережно. Я, чесно кажучи, не можу зрозуміти, як працює приклад, і мені справді дуже цікаво зрозуміти, що вони створюють папір, наскільки я можу. Спочатку дозвольте це процитувати тут:

Наприклад, розглянемо шар із входом u, який додає вивчену зміщення b, і нормалізує результат, віднісши середнє значення активації, обчислене над навчальними даними: де - це набір значень над навчальним набором, а . Якщо крок спуску градієнта ігнорує залежність від , то він оновиться , де . Тоді . Таким чином, поєднання оновлення до $\hat{x} = x − E[x]$ $x=u+b, X =\{x_1...N \}$ $x$ $E[x] = \sum^N_{i=1} x_i$ $E[x]$ $b$ $b ← b + \Delta > b$ $\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$ $u+(b+\Delta b)−E[u+(b+\Delta b)] = u+b−E[u+b]$ $b$ і подальша зміна нормалізації призвела до не зміни на виході шару, а отже, до втрат.

Я думаю, що я розумію повідомлення, що якщо нормально не зробити нормалізацію, це може бути погано. Я просто не знаю, як це зображує приклад, який вони використовують.

Я усвідомлюю, що важко допомогти комусь, якщо вони не є більш конкретними щодо того, що їх бентежить, тому я викладу в наступному розділі речі, які мене бентежать щодо їх пояснення.

Я думаю, що більшість моїх плутанин можуть бути помітними, тому я уточню.

По-перше, я думаю, що одне із речей, що мене дуже бентежить, - це те, що означає для авторів наявність підрозділу в мережі та що таке активація. Зазвичай я думаю про активацію як:

x^{(l)} = a^{(l)} = θ (z^{(l)}) = θ (⟨ w^{(l)}, x^{(l - 1)} ⟩ + b^{(l)})

$x^{(l)} = a^{(l)} = \theta(z^{(l)}) = \theta( \langle w^{(l)}, x^{(l-1)} \rangle + b^{(l)})$

де - це неочищені вектори функцій з першого вхідного шару. $x^{(0)} = a^{(0)} = x$

Крім того, я думаю, що перше, що мене бентежить (через попередню причину), - це те, що насправді є сценарієм, який вони намагаються пояснити. Він говорить:

нормалізує результат шляхом віднімання середнього значення активації, обчисленої за навчальними даними: де $\hat{x} = x − E[x]$ $x=u+b$

Я думаю, що вони намагаються сказати, що замість використання активацій як обчислених прямим проходом, виконується певна «нормалізація», віднімаючи середню активацію : $x^{(l)} = a^{(l)}$

{\bar{x}}^{l} = {\bar{a}}^{l} = \frac{1}{N} \sum_{i = 1}^{N} {\bar{a}}^{l} = \frac{1}{N} \sum_{i = 1}^{N} {\bar{x}}^{l}

$\bar{x}^{l} = \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{x}^{l}$

а потім передає це алгоритму зворотного поширення. Або принаймні те, що було б для мене сенсом.

Що стосується цього, я думаю, що те, що вони називають , можливо, ? Це те, що я б здогадався, тому що вони називають це "вхідним" і мають рівняння (я думаю, вони використовують блок ідентичності / лінійної активації для своєї нейронної мережі? Можливо). $u$ $x^{(l)}$ $x = u + b$

Щоб ще більше заплутати мене, вони визначають як щось пропорційне частковій похідній, але часткова похідна обчислюється щодо , що здається мені справді химерним. Зазвичай часткові похідні при використанні градієнтного спуску відносяться до параметрів мережі. У випадку компенсації я б подумав: $\Delta b$ $\hat{x}$

Δ b^{(l)} \propto - \frac{\partial l}{\partial b^{(l)}}

$\Delta b^{(l)} \propto -\frac{\partial l}{\partial b^{(l)} }$

має більше сенсу, ніж приймати похідне відносно нормалізованих активацій. Я намагався зрозуміти , чому вони взяти похідну по , і я подумав , що вони мали в вид дельт , коли вони писали , так як зазвичай це єдина частина алгоритму зворотної опори, яка має похідну відносно попередньої активації, оскільки рівняння дельти: $\hat{x}$ $\frac{ \partial l }{ \partial \hat{x} }$

δ_{j}^{(l)} = \frac{\partial L}{\partial z_{j}^{(l)}}

$\delta^{(l)}_j = \frac{\partial L}{\partial z^{(l)}_j}$

Ще одна річ, яка мене бентежить:

Тоді . $u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$

вони насправді не кажуть, що вони намагаються обчислити у наведеному вище рівнянні, але я б сказав, що вони намагаються обчислити оновлену нормалізовану активацію (для першого шару?) після того, як буде оновлено до ? Не впевнений, чи купую їх точку, бо я вважаю, що правильне рівняння повинно було бути: $b$ $b + \Delta b$

\hat{x} = θ (u + (b + Δ b)) - E [θ (u + (b + Δ b))]

$\hat{x} = \theta( u + (b + \Delta b) ) - E[\theta( u + (b + \Delta b) )]$

що не скасовує зміна параметра . Однак я не знаю, що вони роблять, тому я просто здогадуюсь. Що саме таке рівняння, яке вони написали? $\Delta b$ $b$

Я не впевнений, чи це правильне розуміння, але я трохи роздумав їхній приклад. Здається, що в їх прикладі немає нелінійного блоку активації (використовує ідентичність), і вони говорять лише про перший вхідний шар? Оскільки вони залишили безліч деталей, і позначення не дуже зрозумілі, я не можу точно зрозуміти, про що вони говорять. Хтось знає, як висловити цей приклад нотацією, яка виражає те, що відбувається на кожному шарі? Хтось розуміє, що насправді відбувається з цим прикладом, і хоче поділитися зі мною своєю мудрістю?

[1]: Ioffe S. and Szegedy C. (2015),
"Нормалізація партії: прискорення глибокої мережевої підготовки шляхом зменшення внутрішнього коваріатного зсуву",
Матеріали 32-ї міжнародної конференції з машинного навчання , Лілль, Франція, 2015.
Журнал машинного навчання. Дослідження: W&CP том 37

machine-learning neural-networks conv-neural-network

— Чарлі Паркер
джерело

Я думаю, що нотаційний характер цього абзацу зрозумілий зараз, але повідомлення, яке його намагаються передати, і його мета менш зрозумілі.

— Чарлі Паркер

Я думаю, вся суть цього абзацу полягає в тому, що якщо крок спуску градієнта ігнорує залежність від , оновлення терміна зміщення b не призведе до зміни результату $E[x]$ $b$ , як заявлено в реченні перед ним,

Однак якщо ці модифікації перемежовуються з кроками оптимізації, то етап спуску градієнта може спробувати оновити параметри таким чином, щоб вимагати оновлення нормалізації, що зменшує ефект кроку градієнта.

Тому вони зробили крок градієнтного спуску обізнаним про нормалізацію у своєму методі.

Щодо вас питань

Що стосується цього, я думаю, що те, що вони називають , можливо, ? $u$ $x^{(l)}$

Як стверджується в їхньому першому реченні, - введення шару. Що на самому ділі , здається, не має значення, так як вони ілюструють тільки ефект в прикладі. $u$ $u$ $b$

Я б подумав, що має більше сенсу, ніж брати похідну щодо нормалізованих активацій. $\Delta b \propto -\frac{\partial l}{\partial b }$

Ми знаємо , оскільки ми ігноруємо залежність від , у нас є так . $\hat{x}=x-E[x]=u+b-E[x]$ $E[x]$ $b$

\frac{\partial l}{\partial b} = \frac{\partial l}{\partial \hat{x}} \frac{\partial \hat{x}}{\partial b} = \frac{\partial l}{\partial \hat{x}},

$\frac{\partial l}{\partial b}=\frac{\partial l}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial b} = \frac{\partial l}{\partial \hat{x}},$

Δ b \propto - \frac{\partial l}{\partial \hat{x}}

$\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$

$u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$ вони насправді не говорять, що намагаються обчислити у наведеному вище рівнянні, але Я б сказав, що вони намагаються обчислити оновлену нормалізовану активацію (для першого шару?) Після того, як буде оновлено до ? $b$ $b+\Delta b$

Це обчислення після оновлюється до , щоб показати , що якщо крок градієнтного спуску ігнорує залежність на , оновлюючи термін зміщення б не приведе до зміни в вихід. $\hat{x}$ $b$ $b+\Delta b$ $E[x]$ $b$

Може бути корисним ознайомитися з деякими реалізаціями пакетної нормалізації з відкритим кодом, наприклад, у Lasagne та Keras .

Є ще одне питання, яке може здатися пов’язаним: навіщо брати градієнт моментів (середній і дисперсійний) при використанні пакетної нормалізації в нейронній мережі?

— dontloo
джерело

тому я гадаю, що їхня суть полягає в тому, що їм потрібно зробити оновлення GD про нормалізацію, щоб збитки змінювалися під час оновлення зміщення? Або яка головна мета цього пункту?

— Чарлі Паркер

@CharlieParker так, я думаю, що так, щоб показати, що є причина зробити GD оновленням відомо про нормалізацію (IMO).

— dontloo

Чи E [Δb] = Δb? Якщо так, то чому?

— MichaelSB