Чим відрізняється LeakyReLU від PReLU?

Я думав, що обидва, PReLU та Leaky ReLU є

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Керас, однак, обидві функції в документах .

Leaky ReLU

Джерело LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Звідси (див. Код relu )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

Джерело PReLU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Звідси

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Питання

Я щось не так зрозумів? Не $f_1$ і $f_2$ еквівалентні $f$ (якщо припустити $\alpha \in (0, 1)$ ?)

neural-network

— Мартін Тома
джерело

Прямо з Вікіпедії :

Leaky ReLU s дозволяють мати невеликий ненульовий градієнт, коли пристрій не активний.
Параметричні ReLU s продовжують цю ідею, перетворюючи коефіцієнт витоку в параметр, який дізнається разом з іншими параметрами нейронної мережі.

— Томас W
джерело

А, дякую, я завжди забуваю, що у Leaky ReLU є як гіперпараметр, а параметричні ReLU мають параметр .

α

$\alpha$

α

$\alpha$

— Мартін Тома

Для Google-речі: це нормально . (Btw, для мене це питання є третім результатом зараз для "Leaky ReLU vs PReLU")

— Мартін Тома,

@MartinThoma правда! Жодного образи за це! Те, як я знайшов відповідь, було досить дурним; Я не знав, що таке "P" в PReLU, тому я зрозумів це, а потім спробував розібратися, що таке PReLU, просто набравши "Parametric ReLU", який потрапив на сторінку вікіпедії. Я дізнався щось сьогодні через ваше запитання;)

— Thomas W

Приємно. Ось так і має бути :-) У цьому випадку мій маленький огляд функції активації може бути цікавим і для вас. Стаття (частково) німецькою мовою, але, мабуть, для цієї частини це не має значення

— Мартін Тома,