Як працює термін імпульсу алгоритму зворотного розповсюдження?

Оновлюючи ваги нейронної мережі за допомогою алгоритму зворотного розповсюдження з періодом імпульсу, чи слід застосовувати швидкість навчання і до терміну імпульсу?

Більшість інформації, яку я міг знайти про використання імпульсу, мають рівняння, виглядаючи приблизно так:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

де - швидкість навчання, а - термін імпульсу.$\alpha$$\mu$

якщо термін більше, ніж термін то в наступній ітерації від попередньої ітерації матиме більший вплив на вагу, ніж поточний.$\mu$$\alpha$$\Delta W$

Чи є це метою терміну імпульсу? чи має виглядати рівняння більше таким чином?

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

тобто. масштабування всього за ступенем навчання?

Використання зворотного поширення з імпульсом в мережі з різних ваг на ую поправку на вагу даються$n$$W_k$$i$$W_k$

$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ де є варіацією втрати .$\frac{\partial E}{\partial W_k}$$W_k$

Введення швидкості імпульсу дозволяє послабити коливання в градієнтному спуску. Геометричну ідею, що стоїть за цією ідеєю, можливо, найкраще зрозуміти з точки зору аналізу власного простору в лінійному випадку. Якщо співвідношення між найнижчим і найбільшим власним значенням велике, то виконання градієнтного спуску повільне, навіть якщо швидкість навчання велика через обумовленість матриці. Імпульс вносить деяке врівноваження в оновлення між власними векторами, пов'язаними з нижчими та більшими власними значеннями.

Більш детально я посилаюсь

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf