Що саме являє собою блок залишкового навчання в контексті глибоких залишкових мереж у глибокому навчанні?

Я читав статтю « Глибоке залишкове навчання для розпізнавання зображень» і у мене виникли труднощі з розумінням на 100%, що означає залишковий блок обчислювально. Читаючи їхній документ, вони мають малюнок 2:

що ілюструє, яким повинен бути Залишковий блок. Чи обчислення залишкового блоку просто те саме, що:

у = σ (W_{2} σ (W_{1} х + б_{1}) + б_{2} + х)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

Або це щось інше?

Іншими словами, можливо, спробувати відповідати позначенням статті, це:

Ж (х) + х = [W_{2} σ (W_{1} х + б_{1}) + б_{2}] + х

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

це правда?

Зауважте, що після підсумовування кола на папері з’являється слово ReLU, тому вихід залишкового блоку (який я позначав ) повинен бути: $\mathbf{y}$

σ (Ж (х) + х) = σ ([W_{2} σ (W_{1} х + б_{1}) + б_{2}] + х)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

з однією додатковою нелінійністю ReLU . $\sigma$

machine-learning neural-networks deep-learning conv-neural-network residual-networks

— Чарлі Паркер
джерело

є х - позитивний relu (x) = x

— Рей Таєк

Так, це правда, ви можете подивитися на їхню модель кафе, щоб побачити, як вона реалізована.

— dontloo
джерело