Що роблять повністю пов'язані шари в CNN?

Я розумію згортання та об'єднання шарів, але не можу побачити причину повністю з'єднаного шару в CNN. Чому попередній шар безпосередньо не з'єднаний з вихідним шаром?

neural-networks deep-learning conv-neural-network

— Джефф
джерело

Відповіді:

Вихід із згорткових шарів представляє особливості високого рівня в даних. Незважаючи на те, що цей результат можна згладити і з'єднати з вихідним шаром, додавання повністю пов'язаного шару є (як правило) дешевим способом вивчення нелінійних комбінацій цих особливостей.

По суті, згорткові шари забезпечують значущий, маломірний і дещо інваріантний простір функцій, і повністю пов'язаний шар вивчає (можливо, нелінійну) функцію в цьому просторі.

ПРИМІТКА. Перетворювати з шарів FC в шари Conv тривіально. Перетворення цих верхніх шарів FC в шари Conv може бути корисним, як описано на цій сторінці.

— jamesmf
джерело

Дякую за вашу відповідь, Джеймс. Отже, ми вивчаємо ваги між сполученими шарами із зворотним поширенням, чи правильно?

— jeff

Так, помилка назад поширюється через повністю пов'язаний шар до згорткового та об'єднаного шарів.

— jamesmf

Добре. Таким чином, призначення шару fc можна вважати нелінійним PCA, він виправляє "хороші" характеристики та зменшує інші, вивчаючи повний набір ваг.

— jeff

В основному це дозволяє нелінійне поєднання особливостей. Усі функції можуть бути хорошими (якщо припустити, що у вас немає "мертвих" функцій), але комбінації цих функцій можуть бути навіть кращими.

— jamesmf

@jamesmf: Що таке мертва характеристика? а які поєднання особливостей ви говорите? що ви маєте на увазі під нелінійною комбінацією? Чи обов'язково використання повністю пов'язаного шару в cnn? чи можна його замінити без негативного впливу на точність? Заздалегідь дякую Я буду вдячний, якщо ви зможете дати інтуїцію з питань, які я задав.

— Рика

Я вважаю цю відповідь Аніл-Шарма на Quora корисною.

Ми можемо розділити всю мережу (для класифікації) на дві частини:

Вилучення особливостей : У звичайних алгоритмах класифікації, як SVM, ми використовували для отримання функцій з даних, щоб зробити класифікацію роботою. Скручені шари служать тій самій меті вилучення ознак. CNN фіксують краще представлення даних, отже, нам не потрібно займатися інженерною функцією.
Класифікація : Після вилучення функцій нам потрібно класифікувати дані в різні класи, це можна зробити за допомогою повністю підключеної (FC) нейронної мережі. Замість повністю з'єднаних шарів ми також можемо використовувати звичайний класифікатор типу SVM. Але ми, як правило, додаємо шари FC, щоб зробити модель від кінця до кінця відстежуваною.

— rockyne
джерело