Що таке максимум в нейронній мережі?

Хтось може пояснити, що роблять одиниці максимуму в нейронній мережі? Як вони виконують і чим вони відрізняються від звичайних одиниць?

Я намагався прочитати документ "Максимальна мережа" 2013 року Goodfellow et al. (від групи професора Йошуа Бенджо), але я не дуже розумію.

machine-learning neural-networks

— RockTheStar
джерело

Відповіді:

Максимальний шар - це просто шар, де функцією активації є макс входів. Як зазначено в роботі, навіть MLP з 2 максимумами може наближати будь-яку функцію. Вони наводять декілька причин того, чому маунт може бути хорошим, але головна причина - наступна -

Випадання може розглядатися як форма моделювання усереднення, в якій під час кожної ітерації тренується випадкова підмережа, і в кінцевому підсумку ваги різних таких випадкових мереж усереднюються. Оскільки не можна чітко оцінити ваги, використовується наближення. Це наближення є точним для лінійної мережі.
У maxout вони не опускають входи до максимуму. Таким чином, ідентичність вхідного виводу максимального значення для точки даних залишається незмінною. Таким чином, випадання відбувається лише в лінійній частині MLP, але все одно можна наблизити будь-яку функцію через шару maxout.
Оскільки випадання відбувається лише в лінійній частині, вони припускають, що це призводить до більш ефективної моделі усереднення, оскільки наближення усереднення є точним для лінійних мереж.

Їх код доступний тут .

— Опт
джерело

Дякую! Я розумію, як зараз робити максимум. У мене є питання. (1) Отже, ви не робите до виходу до максимуму відповідно до того, що ви написали "У maxout вони не відкидають входи до maxout-шару."? (2) Що означає лінійна частина MLP? "Таким чином, випадання трапляється лише в лінійній частині MLP, але все одно можна наблизити будь-яку функцію через шару maxout." (3) Чому краще усереднювати? "Оскільки випадання відбувається лише в лінійній частині, вони гадають, що це призводить до більш ефективної моделі усереднення, оскільки наближення усереднення є точним для лінійних мереж."

— RockTheStar

max (z_{i})

$\max (z_i)$

z_{i} = \sum_{k} x_{k}

$z_i = \sum_k x_k$

Дякую! Для (3) що це означає "точне", і чому NN стає лінійним з максимумом? Велике спасибі за вашу допомогу.

— RockTheStar

Nah maxout - це мережева архітектура. Випадання - техніка регуляризації

— Opt

-1 Це невірне визначення функції активації максимуму Goodfellow. Відповідь @ toussaint-louverture відповідає правильному. stats.stackexchange.com/a/298705/20587

— Trisoloriansunscreen

Максимальна одиниця може вивчити кусково-лінійну, опуклу функцію з до k штук. ¹

Отже, коли k дорівнює 2, ви можете реалізувати ReLU, абсолютну ReLU, герметичну ReLU тощо. Якщо k, скажімо, 10, можна навіть приблизно вивчити опуклу функцію.

Коли k дорівнює 2:

нейрон Максута обчислює функцію . І ReLU, і Leaky ReLU є особливим випадком цієї форми (наприклад, для ReLU у нас ). Тому нейрон Maxout користується всіма перевагами блоку ReLU (лінійний режим роботи, без насичення) і не має своїх недоліків (відмирає ReLU). $\max(w_1^Tx+b_1, w_2^Tx + b_2)$ $w_1, b_1 = 0$

Однак, на відміну від нейронів ReLU, він подвоює кількість параметрів для кожного окремого нейрона, що призводить до високої загальної кількості параметрів. ²

_{Деталі ви можете прочитати тут:

1. DL-книга

2. http://cs231n.github.io/neural-networks-1}

— Аарон
джерело

Він подвоює лише кількість параметрів зміщення, а не всі ваги.

— Ханс