Не вдається з’ясувати лінійний шар вбудовування в звивисту нейронну мережу?

11

Я маю мережеву архітектуру з паперу, "вивчаючи дрібнозернисту схожість зображення з глибоким ранжуванням", і я не в змозі зрозуміти, як виводиться з трьох паралельних мереж злиття за допомогою лінійного шару вбудовування. Єдина інформація, що надається на цьому шарі, в роботі

Нарешті, ми нормалізуємо вставки з трьох частин і поєднуємо їх з лінійним шаром вставки. Розмір вбудовування - 4096.

Хтось може мені допомогти розібратися, що саме означає автор, коли він говорить про цей шар?

neural-network deep-network

— А. Сем
джерело

Мені прикро, що відповіді на це питання немає. Тому що я застряг із точно таким же питанням. Ви це зрозуміли?

— LKM

Я не з'ясував відповіді, але просто з'єднав вхід з трьох частин і пропустив його через щільний шар, що містить 4096 вузлів.

— А. Сем

1

Лінійний шар вбудовування повинен бути лише фантазійною назвою для щільного шару без активації. "Лінійний" означає, що немає активації (активація - це ідентичність). А вбудовування - це швидше концепція векторного подання вхідних даних (наприклад, вбудовування слів). Я вважаю, що елементи з другого вектора просто додаються до першого елемента.

— Дмитро Прилипко
джерело

0

Про це йдеться у статті:

Локальний рівень нормалізації нормалізує карту характеристик навколо місцевого мікрорайону, щоб вони мали одиничну норму та нульове середнє. Це призводить до створення карт, які є надійними для відмінностей освітленості та контрасту.

Вони беруть кожну частину моделі і нормалізують її окремо.

Що стосується їх поєднання, як ви прокоментували, для отримання найвизначніших особливостей, при недостатньому повному представництві немає потреби в нелінійності.

— Фаді Бакура
джерело