Виходячи з того, що я дізнався, ми використовуємо кілька фільтрів у конвеєрному шарі CNN для вивчення різних детекторів функцій. Але оскільки ці фільтри застосовуються аналогічно (тобто ковзають і примножуються до областей введення), чи не просто вони засвоїли б однакові параметри під час тренування? Отже, використання декількох фільтрів буде зайвим?
Відповіді:
У мене була така ж плутанина в розумінні цього факту. Плутанина виникає у початківців, оскільки в експліциті книги не згадується, що фільтри різні.
оскільки ці фільтри застосовуються аналогічно
Фільтри застосовуються аналогічно, але значення комірки в матриці відрізняється один від одного. Так вони витягують із зображення різні риси.
Чи не вони б просто навчились однаковим параметрам під час тренування
Ні, вони не вивчають один і той же параметр, оскільки фільтри зараз різні. Тож використання декількох фільтрів не є зайвим.
Я знайшов відповідь на це питання: https://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network
Тут написано: "... (оптимізація) алгоритм виявляє, що втрати не зменшуються, якщо два фільтри мають однакові ваги та ухили, тому він врешті-решт змінить один з фільтрів (ваги та ухили), щоб зменшити втрати при цьому вивчення нової функції ".
Дякую за відповіді. Вдячний :)