Чи пов'язані залишкові мережі з підвищенням градієнта?

11

Нещодавно ми побачили появу Залишкової Нейронної Мережі, де кожен шар складається з обчислювального модуля та з'єднання, що зберігає вхід до шару, такого як вихід i-го шару демонструє: Мережа дозволяє витягнути залишкові характеристики та дозволяє отримати більш глибоку глибину, в той час як бути більш надійною до зникаючої градієнтної проблеми, досягаючи сучасних показників. $c_i$

y_{i + 1} = c_{i} + y_{i}

$y_{i+1} = c_i + y_i$

Заглибившись у градієнтне збільшення , дуже потужна техніка збирання у світі машинного навчання, яка також, здається, виконує форму оптимізації градієнта на залишок втрати, важко не побачити певної форми подібності.

Я знаю, що вони схожі, але не однакові - одна основна відмінність, яку я помітив, полягає в тому, що підвищення градієнта виконує оптимізацію за терміном добавки, тоді як залишкова сітка оптимізує всю мережу.

Я не бачив, як він та інші відзначають це як частину їхньої мотивації в оригінальному документі . Тож мені було цікаво, що ви розумієте на цю тему, і прошу, щоб ви поділилися цікавими ресурсами, які у вас є.

Дякую.

— радар
джерело

7

Можливо, новіший документ, який намагається вирішити більшу частину роботи від команди Ленфорда та Шейпіра: Навчання глибоких блоків ResNet послідовно, використовуючи розширену теорію

Цікаві частини (див. Розділ 3):

$\sum_{t=0}^T f_t(g_t(x))$ $\mathbf{w}_t$
$o_{t} (x) := w_{t}^{T} g_{t} (x) \in R$ $o_t(x) := \mathbf{w}_t^T g_t(x) \in \mathbb{R}$

...

$o_t(x) = \sum_{{t'} = 0}^{t-1} \mathbf{w}_t^T f_{t'}(g_{t'}(x))$

$h_t(x)$

Додавши до цього відповіді трохи детальніше, всі алгоритми підвищення можна записати у формі [1] (p 5, 180, 185 ...):

Ж_{Т} (х) : = \sum_{т = 0}^{Т} α_{т} {год}_{т} (х)

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

$h_t$ $t^{th}$ $\alpha_t$ $\alpha_t$ $h_t$

$h_t$ $\epsilon_t$ $\alpha_t = \frac{1}{2} \log \frac{1- \epsilon_t}{\epsilon_t}$

$h_t$ $\nabla\mathcal{L}(F_{t-1}(x)) \cdot h_t$ $\alpha_t > 0$

$T$ $F(x)$

Ж (х) \propto \sum_{т = 0}^{Т} {год}_{т} (х)

$F(x) \propto \sum_{t=0}^T h_t(x)$

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

[1] Роберт Е. Шапір та Йоав Фрейнд. 2012. Підвищення: основи та алгоритми. MIT Press. p 5, 180, 189
[2] Фуронг Хуан, Джордан Еш, Джон Ленгфорд, Роберт Шапір: Навчання блокам глибокого ResNet послідовно з використанням теорії підсилення, ICML 2018

— глави
джерело

4

Відповідаючи на власне запитання: я знайшов помітний документ, який досліджує та доводить, що Deep Residual Networks справді є ансамблем неглибоких мереж.

ДРУГИЙ РЕДАКТ, після того, як зрозумів цю проблему, ще більше: я розглядаю Реснет як спосіб дізнатися "Підвищення функцій". Залишкове з'єднання виконує підвищення, але не на об'єктивних, а фактично на вихідних характеристиках наступного шару. Таким чином, вони насправді пов’язані, але це не класичне збільшення градієнта, а насправді «Градієнтне підвищення функції».

— радар
джерело