Яка різниця між нахилом градієнта на основі імпульсу та прискореним градієнтом спуску Нестерова?

Тож спуск на градієнті на основі імпульсу працює так:

$v=self.momentum*m-lr*g$

де - попереднє оновлення ваги, а g - поточний градієнт щодо параметрів p , l r - рівень навчання, а s e l f . m o m e n t u m - константа.$m$$g$$p$$lr$$self.momentum$

$p_{new} = p + v = p + self.momentum * m - lr * g$

і прискорений градієнт Нестерова працює наступним чином:

$p_{new} = p + self.momentum * v - lr * g$

що еквівалентно:

$p_{new} = p + self.momentum * (self.momentum * m - lr * g ) - lr * g$

або

$p_{new} = p + self.momentum^2 * m - (1 + self.momentum) * lr * g$

джерело: https://github.com/fchollet/keras/blob/master/keras/optimizers.py

Тож мені здається, що прискорений градієнт Нестерова просто надає більшу вагу терміну lr * g протягом неперервного терміну зміни ваги m (порівняно зі старим простим імпульсом). Чи правильне це тлумачення?

Відповідь Ареша про імпульс Нестерова правильна, але код по суті робить те саме. Таким чином, у зв'язку з цим метод Нестерова надає більшої ваги терміну , а меншій вазі - терміну v .$lr \cdot g$$v$

Щоб проілюструвати, чому реалізація Кераса правильна, я запозичу приклад Джеффрі Хінтона .

$v' = m \cdot v - lr \cdot \nabla(w+m \cdot v)$
$w' = w + v'$
$m \cdot v$$-lr \cdot \nabla(w+m \cdot v)$$m \cdot v-lr \cdot \nabla(w+m \cdot v)$$\nabla(\cdot)$

$\nabla(w+m \cdot v) =: g$$\nabla(w)$

1. $(1 \rightarrow 0)$
2. $(0 \rightarrow 2)$
3. $(2 \rightarrow 3)$

$p' = p + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g$

$\begin{align} p' &= p - m \cdot v + m \cdot v + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g\\ &= p - m \cdot v + m \cdot v - lr \cdot g + m \cdot (m \cdot v - lr \cdot g)\\ &= p - m \cdot v + (m \cdot v-lr \cdot g) + m \cdot (m \cdot v-lr \cdot g) \end{align}$

$1 \rightarrow 0 \rightarrow 2 \rightarrow 3$$1 \rightarrow 2 \rightarrow 3$

$p - m \cdot v$$p$

Мені здається, на питання ОП вже було дано відповідь, але я б спробував дати інше (сподіваюсь, інтуїтивно зрозуміле) пояснення щодо імпульсу та різниці між Класичним імпульсом (СМ) та Прискореним градієнтом Нестерова (NAG).

tl; dr
Просто переходьте до зображення в кінці.
Міркування NAG_ball - ще одна важлива частина, але я не впевнений, що це було б легко зрозуміти без усього іншого.

$\theta$$f(\theta)$

Іншими новинами, нещодавно з'явилися ці дві дикі чуйні кулі:

Виявляється (за спостережуваною поведінкою кульок та згідно з роботою про важливість ініціалізації та імпульсу в глибокому навчанні , що описує як CM, так і NAG у розділі 2), що кожен бал поводиться точно так само, як один із цих методів , і тому ми б їх називали "CM_ball" і "NAG_ball":
(NAG_ball посміхається, бо нещодавно він спостерігав за закінченням лекції 6c - метод імпульсу, Джеффрі Хінтон з Нітішем Сріваставою і Кевіном Сверським , і, таким чином, вірить більше, ніж будь-коли, що його поведінка призводить до знаходження мінімуму швидше.)

Ось як поводяться кульки:

• 
  $\theta_t$$t$$v_t$$t$$\theta_t=\theta_{t-1}+v_t$
• $v_t$
  • $v_{t-1}$
    $v_{t-1}$
    $\mu$$0.9 \le \mu <1$$\mu v_{t-1}$
    $\mu$
    
  • 
    
    $\epsilon$$\epsilon>0$
    $\epsilon$
    $g$$-\epsilon g$
• $$v_t=\mu v_{t-1} -\epsilon g$$
• 
  $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}\right)$$

• 
  

  $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}+\mu v_{t-1}\right)$$

  Міркування NAG_ball

  • Який би стрибок не став першим, мій імпульс імпульсу був би таким же.
    Тому я повинен розглядати ситуацію так, ніби я вже зробив свій імпульс імпульсу, і я збираюся зробити свій Стрибок.
  • Тепер концептуально мій стрибок нахилу починається звідси, але я можу вибрати, чи обчислити, яким би мій був Схил нахилу, як якщо б він почався перед імпульсним стрибком, чи як би він почався тут.
  • $\theta$$\theta$$\theta$
    
    

$\theta$
$f(\theta)$$7$

Додаток 1 - Демонстрація міркувань NAG_ball

У цьому зачаровуючому gif від Алека Радфорда ви можете побачити, як NAG виконує, мабуть, краще, ніж CM ("Momentum" в gif).
(Мінімум - це зірка, а криві - контурні лінії . Для пояснення щодо контурних ліній та чому вони перпендикулярні до градієнта, дивіться відео 1 та 2 легендарного 3Blue1Brown .)

Аналіз конкретного моменту демонструє міркування NAG_ball:

• (Довга) фіолетова стрілка - це підпункт імпульсу імпульсу.
• Прозора червона стрілка - це під-крок градієнта, якщо він починається перед покроковим ступенем імпульсу.
• Чорна стрілка - це під-крок градієнта, якщо він починається після під кроку імпульсу.
• CM потрапить у ціль темно-червоної стрілки.
• NAG опинився б у цілі чорної стрілки.

Додаток 2 - речі / терміни, які я склав (заради інтуїції)

• CM_ball
• NAG_ball
• Подвійний стрибок
• Стрибок імпульсу
• Момент втратив через тертя з повітрям
• Схил Стрибок
• Гострота кулі
• Я вчора спостерігав за кулями

Додаток 3 - терміни, які я не склав

• Поведінка CM та NAG:
  • Я в основному залежав від розділу 2 у статті про важливість ініціалізації та імпульсу в глибокому навчанні .
    
  • Крім того, Огляд алгоритмів оптимізації градієнтного спуску (повідомлення в блозі Себастьяна Рудера) мені справді допоміг зрозуміти CM та NAG (та багато іншого).
• Коефіцієнт імпульсу - термін, що використовується принаймні у роботі
• Коефіцієнт навчання

Я не думаю, що так.

Є хороший опис властивостей Nesterov Momentum (він же Нестеров Accelerated Gradient), наприклад, у Sutskever, Martens та ін. "Про важливість ініціалізації та імпульсу в глибокому навчанні" 2013 .

Основна відмінність полягає в класичному імпульсі: ви спочатку коригуєте свою швидкість, а потім робите великий крок відповідно до цієї швидкості (а потім повторюєте), але в імпульсі Нестерова ви спочатку робите крок у напрямку швидкості, а потім робите корекцію на основі вектора швидкості на новому місці (потім повторіть).

тобто класичний імпульс:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) )
W(t+1) = W(t) + vW(t+1)

Хоча Нестеров імпульс такий:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) + momentum.*vW(t) )
W(t+1) = W(t) + vW(t+1)

Насправді це робить величезну зміну на практиці ...

Додано: курс Стенфорда по нейронних мережах, cs231n , дає ще одну форму кроків:

v = mu * v_prev - learning_rate * gradient(x)   # GD + momentum
v_nesterov = v + mu * (v - v_prev)              # keep going, extrapolate
x += v_nesterov

Ось vшвидкість ака-стан ака стану, і muце коефіцієнт імпульсу, як правило, 0,9 або близько того. ( v, xі learning_rateможе бути дуже довгими векторами; з numpy код той самий.)

vу першому рядку - градієнтне спуск із моментом; v_nesterovекстраполяти, продовжує. Наприклад, при mu = 0,9,

v_prev  v   --> v_nesterov
---------------
 0  10  -->  19
10   0  -->  -9
10  10  -->  10
10  20  -->  29

У наступному описі є 3 терміни: один
термін 1 - це похилий градієнт (GD),
1 + 2 дає імпульс GD +,
1 + 2 + 3 дає Nesterov GD.

$x_t \to y_t$$y_t \to x_{t+1}$

$\qquad y_t = x_t + m (x_t - x_{t-1}) \quad$ - імпульс, предиктор
$\qquad x_{t+1} = y_t + h\ g(y_t) \qquad$ - градієнт

$g_t \equiv - \nabla f(y_t)$$h$

$y_t$

$\qquad y_{t+1} = y_t$
$\qquad \qquad + \ h \ g_t \qquad \qquad \quad$ - градієнт
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$ - імпульс кроку
$\qquad \qquad + \ m \ h \ (g_t - g_{t-1}) \quad$ - імпульс градієнта

Останній член - це різниця між GD з рівним імпульсом, і GD з імпульсом Нестерова.

$m$$m_{grad}$
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$ - імпульс кроку
$\qquad \qquad + \ m_{grad} \ h \ (g_t - g_{t-1}) \quad$ - імпульс градієнта

$m_{grad} = 0$$m_{grad} = m$
$m_{grad} > 0$
$m_{grad} \sim -.1$

$m_t$$h_t$