Які хороші початкові ваги в нейромережі?

68

Я щойно чув, що хороша ідея вибирати початкові ваги нейронної мережі з діапазону , де- кількість входів у даний нейрон. Передбачається, що множини нормалізуються - означають 0, дисперсію 1 (не знаю, чи це має значення). $(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})$ $d$

Чому це гарна ідея?

neural-networks normalization

— elmes
джерело

Дивіться мою магістерську дисертацію, стор. 81 для огляду методів ініціалізації.

— Мартін Тома

47

Я припускаю, що ви використовуєте логістичні нейрони, і ви тренуєтесь за градієнтним спуском / поширенням назад.

Логістична функція близька до плоскої для великих позитивних або негативних входів. Похідний на вході становить близько , але в похідна становить близько . Це означає, що якщо вхід логістичного нейрона дорівнює то для заданого тренувального сигналу нейрон дізнається приблизно в разів повільніше, ніж якщо вхід був . $2$ $1/10$ $10$ $1/22000$ $10$ $2200$ $2$

Якщо ви хочете, щоб нейрон швидко засвоївся, вам потрібно подати величезний тренувальний сигнал (наприклад, з функцією втрати перехресної ентропії) або ви хочете, щоб похідне було великим. Щоб зробити похідну великою, ви встановлюєте початкові ваги, щоб ви часто отримували введення в діапазоні . $[-4,4]$

Початкові ваги, які ви даєте, можуть не спрацювати. Це залежить від того, як нормалізуються вхідні дані. Якщо вхідні норми мають середнє значення та стандартне відхилення , то випадкова сума членів з рівномірними вагами $0$ $1$ $d$ матиме середнє значеннята дисперсію $(\frac{-1}{\sqrt{d}},\frac{1}{\sqrt{d}})$ $0$ , незалежно від. Ймовірність того, що ви отримаєте суму поза, невелика. Це означає, що збільшуючи, ви не змушуєте нейронів починати насичуватися, щоб вони не навчалися. $\frac{1}{3}$ $d$ $[-4,4]$ $d$

З нормами введення, які не нормалізуються, ці ваги можуть бути неефективними для уникнення насичення.

— Дуглас Заре
джерело

1

Отже, завжди слід принаймні враховувати нормалізацію даних. Зараз це має сенс. Чи можете ви пояснити, чому відхилення STD буде 1/3 і наскільки мала ймовірність вхідної суми поза діапазону <-4,4>?

— elmes

1

Існують деякі основні властивості дисперсії, з яких випливає це: Якщо

і

незалежні, то

а якщо

і

незалежні і мають середнє значення

, то

.

X

$X$

Y

$Y$

Var (X + Y) = Var (X) + Var (Y)

$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y)$

X

$X$

Y

$Y$

0

$0$

Var (X * Y) = Var (X) * Var (Y)

$\text{Var}(X*Y) = \text{Var}(X)*\text{Var}(Y)$

— Дуглас Заре

1

Ви можете оцінити ймовірність того, що випадкова величина не менше

стандартних відхилень від середньої величини, використовуючи нерівність Чебишева. На практиці це не різко, але точний результат залежить від розподілу.

12

$12$

— Дуглас Заре

До речі, я прорахувався. Дисперсія -

, так що стандартне відхилення

\frac{1}{3}

$\frac{1}{3}$

.

\sqrt{\frac{1}{3}}

$\sqrt{\frac13}$

— Дуглас Заре

1

"Логістична функція близька до плоскої для великих позитивних чи негативних входів. Похідна на вході ..." Чи не повинен відповідний суб'єкт бути похідною від функції витрат логістичної регресії? Внаслідок чого вхід у похідну функції витрат вже масштабується логістичною функцією до (0,1) незалежно від розміру ваг і сигналів?

— Moobie

28

[1] вирішує питання:

По-перше, ваги не повинні встановлюватися на нулі, щоб порушити симетрію при зворотному програмуванні:

Як правило, діапазони можуть бути ініціалізовані до нуля, але ваги потрібно обережно ініціалізувати, щоб порушити симетрію між прихованими одиницями одного шару. Оскільки різні вихідні одиниці отримують різні градієнтні сигнали, ця проблема порушення симетрії не стосується вихідних ваг (у вихідних одиницях), які також можуть бути встановлені на нуль.

Деякі стратегії ініціалізації:

[2] та [3] рекомендують масштабувати обернену площу кореня вентилятора
Глоро і Бенджо (2010) та навчальні посібники з глибокого навчання використовують поєднання фан-ін і фан-ауту:
- $r=\sqrt{\frac{6}{\text{fan-in}+\text{fan-out}}}$
- $r=4 \sqrt{\frac{6}{\text{fan-in}+\text{fan-out}}}$
у випадку КВМ добре допомагає нульовому середньому гауссу з невеликим стандартним відхиленням приблизно 0,1 або 0,01 (Hinton, 2010) для ініціалізації ваг.
Ортогональна ініціалізація випадкової матриці, тобто W = np.random.randn(ndim, ndim); u, s, v = np.linalg.svd(W)використовувати її uяк матрицю ініціалізації.

Також непідконтрольна попередня підготовка може допомогти в деяких ситуаціях:

Важливим вибором є те, чи слід використовувати непідтримуваний попередній тренінг (і який алгоритм навчання непідконтрольного функціонування використовувати) для ініціалізації параметрів. У більшості налаштувань ми виявили, що попередня підготовка не контролюється, щоб допомогти і дуже рідко травмувати, але, звичайно, це означає додатковий час тренувань та додаткові гіпер-параметри.

Деякі бібліотеки ANN також мають цікаві списки, наприклад, Лазанья :

Constant([val]) Initialize weights with constant value.
Normal([std, mean]) Sample initial weights from the Gaussian distribution.
Uniform([range, std, mean]) Sample initial weights from the uniform distribution.
Glorot(initializer[, gain, c01b])   Glorot weight initialization.
GlorotNormal([gain, c01b])  Glorot with weights sampled from the Normal distribution.
GlorotUniform([gain, c01b]) Glorot with weights sampled from the Uniform distribution.
He(initializer[, gain, c01b])   He weight initialization.
HeNormal([gain, c01b])  He initializer with weights sampled from the Normal distribution.
HeUniform([gain, c01b]) He initializer with weights sampled from the Uniform distribution.
Orthogonal([gain])  Intialize weights as Orthogonal matrix.
Sparse([sparsity, std]) Initialize weights as sparse matrix.

[1] Бенджо, Йошуа. " Практичні рекомендації щодо градієнтної підготовки глибоких архітектур ". Нейронні мережі: трюки торгівлі. Спрингер Берлін Гейдельберг, 2012. 437-478.

[2] LeCun, Y., Bottou, L., Orr, GB, and Muller, K. (1998a). Ефективна підтримка. У нейромережах, хитрощі торгівлі .

[3] Глоро, Ксав'є та Йошуа Бенджо. " Розуміння труднощів підготовки глибоких нейронних мереж ". Міжнародна конференція з питань штучного інтелекту та статистики. 2010 рік.

— Франк Дернонкур
джерело

2

Я хотів би додати дві корисні посилання: 1) Поглиблення глибоко в випрямлячі: Перевершення продуктивності людського рівня за Класифікацією ImageNet - про важливість масштабування з урахуванням активації arxiv.org/abs/1502.01852 2) Точні рішення нелінійної динаміки навчання в глибоких лінійних нейронних мережах arxiv.org/abs/1312.6120 - ортонормальні матриці набагато краще, ніж просто гауссовий шум

— old-ufo

1

Редактор пропонує ініціалізації сигмоїди, а гіперболічну дотичну слід переключити на оригінальний папір.

— gung

2

Ви хотіли зберегти цю редакцію, Френк? Якщо ні, ви можете повернути її назад.

— gung

Мені, мабуть, чогось не вистачає. Звідки в роботі Glorot та Bengio (2010) написано, що вони рекомендують використовувати 4-кратне значення рівняння 16 при використанні функцій логістичної активації сигмоїдів? Рівняння 16 випливає з використання рівняння 12 та дисперсії рівномірного розподілу, але рівняння 16 виводиться, передбачаючи симетричну активацію з одиничною похідною при 0. Таким чином, наприклад, функція активації тан, але не логістична функція активації (несиметрична). Далі вони навіть не перевіряють запропоновану ініціалізацію логістичною сигмоїдою; вони випробовують його лише за допомогою танху та софтсигналу.

— Tommy L

10

< x_{i} >= 0

$<x_{i}> = 0$

< x_{i}^{2} >= 1

$<x_{i}^{2}> = 1$

Питання: як найкраще вибрати ваги ?. Ідея полягає у тому, щоб вибирати значення ваг випадковим чином після розподілу, що допомагає процесу оптимізації перейти до змістовного рішення.

y = g (a)

$y = g(a)$

a = \sum_{i = 0}^{d} w_{i} x_{i}

$a = \sum_{i=0}^{d}w_{i}x_{i}$

< a >= \sum_{i = 0}^{d} < w_{i} x_{i} >= \sum_{i = 0}^{d} < w_{i} >< x_{i} >= 0

$<a> = \sum_{i=0}^{d}<w_{i}x_{i}> = \sum_{i=0}^{d}<w_{i}><x_{i}> = 0$

< a^{2} >= ⟨ (\sum_{i = 0}^{d} w_{i} x_{i}) (\sum_{i = 0}^{d} w_{i} x_{i}) ⟩ = \sum_{i = 0}^{d} < w_{i}^{2} >< x_{i}^{2} >= σ^{2} d

$<a^2> = \left<\left(\sum_{i=0}^{d}w_{i}x_{i}\right) \left(\sum_{i=0}^{d}w_{i}x_{i}\right)\right> = \sum_{i=0}^{d}<w_{i}^{2}><x_{i}^{2}> = \sigma^{2}d$

< w_{i} w_{j} >= δ_{i j}

$<w_{i}w_{j}> = \delta_{ij}$

— об. Джампа
джерело

< x_{i}^{2} >= 1

$<x_i^2> = 1$

0

$0$

σ

$\sigma$

α

$\alpha$

α

$\alpha$

α

$\alpha$

Це особливо стосується глибоких нейронних мереж, де під час додавання шарів одиниці, як правило, швидко насичуються. Існує ряд робіт, які займаються цим питанням. Хорошим початковим моментом може бути «Розуміння труднощів підготовки глибоких нейронних мереж подачі» від glorot та bengio

— jpmuc

10

Ну і лише в якості оновлення, « Поглиблення глибоко в випрямлячі: перевершення продуктивності людського рівня n Класифікація ImageNet» та ін. Запровадили ініціалізацію спеціально з ініціалізацією, w = U([0,n]) * sqrt(2.0/n)де nкількість входів вашого NN. Я бачив цю ініціалізацію, що використовується в багатьох останніх роботах (також з ReLU). Вони фактично показують, як це починає знижувати швидкість помилок набагато швидше, ніж (-1 / n, 1 / n), про яку ви згадали. Для детального пояснення дивіться статтю, але ось як швидко вона зближується:

— Амбоді
джерело

Оце Так! Значне поліпшення для мене.

— Thomas W

Не для великої кількості входів, хоча ... не вдається з MNIST.

— Thomas W

Зауважимо, що He-ініціалізація розроблена спеціально для (P) ReLU та пояснює той факт, що вона не симетрична (що є одним із припущень Xavier-ініціалізації). Не обманюйте цей графік поза контекстом!

— Містер Цьолдер,

5

Ідея полягає в тому, що ви хочете ініціалізувати ваги таким чином, щоб забезпечити хороший рух даних вперед та назад по мережі. Тобто, ви не хочете, щоб активації постійно зменшувались або збільшувалися під час просування по мережі.

На цьому зображенні показано активацію 5-шарового багатошарового Perceptron ReLU за 3 різних стратегій ініціалізації після одного проходження MNIST через мережу.

Активації в MLP ReLU з різними стратегіями ініціалізації

У всіх трьох випадках ваги витягуються з нульового центрального нормального розподілу, який визначається його стандартним відхиленням. Ви можете бачити, що якщо початкові ваги занадто малі (стандартне відхилення невелике), активації задушаться, і що якщо вони занадто великі, активації вибухають. Середнє значення, яке є приблизно правильним, можна знайти, встановивши ваги таким чином, що дисперсія активацій та оновлень градієнта залишається приблизно такою ж, як при проходженні через мережу.

Я написав публікацію в блозі про ініціалізацію ваги, яка детальніше описується, але основна ідея полягає в наступному.

$x^{(i)}$ $i$ $n_i$ $w^{(i)}$ $(i+1)$ $f$ $f'(s) \approx 1$

Var (x^{(i + 1)}) = n_{i} Var (x^{(i)}) Var (w^{(i)})

$\text{Var}(x^{(i+1)}) = n_i \text{Var}(x^{(i)}) \text{Var}(w^{(i)})$

$\text{Var}(x^{(i+1)}) = \text{Var}(x^{(i)})$

Var (w^{(i)}) = \frac{1}{n_{i}} .

$\text{Var}( w^{(i)}) = \frac{1}{n_i}\,.$

$\frac{\partial L}{\partial x_j^{(i)}}$ $\Delta_j^{(i)}$

Var (Δ^{(i)}) = n_{i + 1} Var (Δ^{(i + 1)}) Var (w^{(i)}) .

$\text{Var}(\Delta^{(i)} ) = n_{i+1} \text{Var}(\Delta^{(i+1)}) \text{Var}(w^{(i)})\,.$

$n_i = n_{i+1}$

Var (w^{(i)}) = \frac{2}{n_{i} + n_{i + 1}} .

$\text{Var}(w^{(i)}) = \frac{2}{n_i+n_{i+1}}\,.$

$N(0, \sigma)$ $\sigma = \sqrt{\frac{2}{n_i + n_{i+1}}}$ $U(-a, a)$ $a = \sqrt{\frac{6}{n_i+n_{i+1}}}$ $\text{Var} \left( U(-a,a) \right) = a^2/3$

$\tanh$ $\text{ReLU}$ $f(s) = \text{ReLU}(s)$

Var (w^{(i)}) = \frac{2}{n_{i}} .

$\text{Var}(w^{(i)}) = \frac{2}{n_i}\,.$

— Андре П
джерело

3

μ_{B} = \frac{1}{m} \sum_{i = 1}^{M} x_{i} a n d σ_{B}^{2} = \frac{1}{m} \sum_{i = 1}^{m} (x_{i} - μ_{B})^{2} {\hat{x}}_{i} = \frac{x_{i} - μ_{B}}{\sqrt{σ_{B}^{2} + ϵ}} a n d B N (x_{i}) = γ {\hat{x}}_{i} + β

$\mu_B = \frac{1}{m}\sum_{i=1}^{M}x_i~~~and~~~ \sigma_{B}^{2} = \frac{1}{m}\sum_{i=1}^{m}(x_i - \mu_B)^{2} \\ \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_{B}^{2} + \epsilon}}~~~and~~~BN(x_i) = \gamma \hat{x}_i + \beta$

x_{i}

$x_i$

B N (x_{i})

$BN(x_i)$

{\hat{x}}_{i}

$\hat{x}_i$

γ

$\gamma$

β

$\beta$

$\gamma$ $\beta$ $\hat{x}_i$ $x_i$ $x_i$ $\hat{x}_i$ $\beta$ $\gamma$ під час тренувань. Таким чином, Batch Normalization стабілізує навчання.

Як результат, пакетна нормалізація дозволяє швидше навчатись , використовуючи набагато більш високі показники навчання та полегшує проблему поганої ініціалізації. BN також дозволяє використовувати насичуючі нелінійності, не дозволяючи мережі застрявати в режимах насичення. Підсумовуючи, Batch Normalization - це диференційована трансформація, яка впроваджує нормалізовані активації в мережу. На практиці шар BN можна вставити відразу після повністю з'єднаного шару.

— Вадим Смоляков
джерело