Як саме DropOut працює з згортковими шарами?

Випадання ( папір , пояснення ) встановлює вихід деяких нейронів до нуля. Отже, для MLP у вас може бути така архітектура для набору даних квітів Iris :

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

Це діятиме так:

s o f t m a x (W_{3} \cdot \tanh (W_{2} \cdot mask (D, \tanh (W_{1} \cdot i n p u t_v e c t o r)))

$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$

з , , , , (ігнорування упереджень заради простоти). $input\_vector \in \mathbb{R}^{4 \times 1}$ $W_1 \in \mathbb{R}^{50 \times 4}$ $D \in \{0, 1\}^{50 \times 1}$ $W_2 \in \mathbb{R}^{20 \times 50}$ $W_3 \in \mathbb{R}^{20 \times 3}$

З і $D = (d)_{ij}$

d_{i j} \sim B (1, p = 0.5)

$d_{ij} \sim B(1, p=0.5)$

де операція множиться точці на (див. продукт Адамара ). $\text{mask}(D, M)$ $D$ $M$

Отже, ми щоразу відбираємо вибірку матриці і таким чином випадання стає множенням вузла на 0. $D$

Але для CNN мені незрозуміло, що саме випадає. Я бачу три можливості:

Випадання повних карт функцій (звідси ядро)
Видалення одного елемента ядра (заміна елемента ядра на 0)
Видалення одного елемента карти об’єктів

Будь ласка, додайте до відповіді посилання / цитату.

Мої думки

Я думаю, що Лазань (3) (див. Код ). Це може бути найпростішим у здійсненні. Однак ближче до початкової ідеї може бути (1).

Схоже на Caffe (див. Код ). Для tensorflow, користувач повинен вирішити ( код - я не впевнений, що станеться, коли noise_shape=Noneбуде передано).

Як має бути

(2) та (3) не мають великого сенсу, оскільки це призведе до того, що мережа додасть інваріантності просторовим положенням, що, мабуть, не бажано. Отже (1) є єдиним варіантом, який має сенс. Але я не впевнений, що станеться, якщо ви використовуєте реалізацію за замовчуванням.

dropout

— Мартін Тома
джерело

Я задав питання також у групі користувачів Lasagne .

— Мартін Тома

Я друг зауважив, що (2) та (3) може бути недоброю ідеєю, оскільки це може змусити мережу просторово поширювати інформацію.

— Мартін Тома

$l$ $W^{(l+1)}$

Для більш детальної інформації я думаю, що розділ 3 у цьому документі може допомогти вам: Максимальне об'єднання та згортання . Зокрема 3.2.

Під час тестування ви використовуєте всі вузли мережі, але ваги фільтра масштабуються на ймовірність збереження, як це пояснено у статті.

Будь ласка, не соромтеся уточнити або виправити мою відповідь.

Сподіваюсь, це допоможе хоч трохи.

— Леонард Аукеа
джерело