Як ядра застосовуються до карт функцій для створення інших карт функцій?


44

Я намагаюся зрозуміти складову частину згорткових нейронних мереж. Дивлячись на таку цифру:

введіть тут опис зображення

У мене немає проблем з розумінням першого шару згортки, де у нас є 4 різних ядра (розміром ), які ми переплітаємо з вхідним зображенням, щоб отримати 4 карти карт.k×k

Що я не розумію, це наступний шар згортки, де ми переходимо від 4-х карт до 6-ти карт. Я припускаю, що в цьому шарі є 6 ядер (отже, дають 6 вихідних карт функцій), але як ці ядра працюють на 4 картах зображень, показаних на С1? Чи є ядра тривимірними, або вони двовимірні та повторюються через 4 карти вхідних функцій?


1
Я застряг там же. На жаль, папір Yann Lecun-s не пояснює це теж - я переглядав кілька файлів pdfs та відео останні кілька днів, і, здається, всі пропускають цю частину. Документ Янна Лекуна насправді розповідає про 6-16 карт зображень із таблицею відображення в шарі 2. Перша вивідна функційна карта отримує вхід із 0,1,2 карт функцій вводу. Але ця карта функцій виходу становить 10 на 10, 3 карти вхідних функцій - 14 на 14. Отже, як це працювало? Ви зрозуміли, що відбувається? Це 3-D ядро? чи це усереднення результатів з ядра розташування * (згортка)?
Виконання2

Відповіді:


18

Ядра є тривимірними, де можна вибрати ширину та висоту, тоді як глибина дорівнює кількості карт у вхідному шарі - загалом.

Вони, звичайно, не є двовимірними та реплікуються через вхідні карти функцій у тому ж двовимірному місці! Це означатиме, що ядро ​​не зможе розрізнити свої вхідні функції у певному місці, оскільки воно використовує одну і ту ж вагу на всіх картах вхідних функцій!


5

Між шарами та ядрами не обов’язково відповідати однозначно. Це залежить від конкретної архітектури. На рисунку, який ви опублікували, випливає, що у шарах S2 у вас є 6 карт функцій, кожна з яких поєднує всі карти функцій попередніх шарів, тобто різні можливі комбінації функцій.

Без більшої кількості посилань я не можу сказати набагато більше. Дивіться, наприклад, цей документ


Я, зокрема, дивлюсь на LeNet-5 і використовую це deepplearning.net/tutorial/lenet.html в якості посилання. З цієї сторінки здається, що ядра є тривимірними, але мені це не на 100% зрозуміло.
виголошення

2
Потім потрібно прочитати цей документ ( yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf ). На сторінці 8 описано, як з'єднані різні шари. Як я вже говорив, шар кожної функції на шарі поєднує в собі кілька можливостей попереднього шару в одному місці.
jpmuc

2
Посилання мертва.
Липень

2

Таблиця 1 та розділ 2а "Навчання на основі градієнта, застосованого до розпізнавання документів" Янна Лекуна, це добре пояснює: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Не всі регіони згортки 5x5 є використовується для генерації 2-го згорткового шару.


0

Ця стаття може бути корисна: Розуміння згортка в Deep Learning від Тіма Dettmers від 26 березня

Він насправді не відповідає на питання, оскільки він пояснює лише перший шар згортки, але містить добре пояснення основної інтуїції щодо згортки в CNN. Тут також описано більш глибоке математичне визначення згортки. Я думаю, що це пов'язано з темою питань.


1
Ласкаво просимо на сайт. Ми намагаємось створити постійний сховище високоякісної статистичної інформації у вигляді запитань та відповідей. Таким чином, ми насторожено ставимося до відповідей, що стосуються лише посилань, завдяки linkrot. Чи можете ви опублікувати повне цитування та резюме інформації за посиланням, якщо вона загине?
gung - Відновіть Моніку

@gung, дякую за повідомлення, вибачте за нерозуміння понять. Ситуація така: ця стаття насправді не відповідає на питання, але коли я шукав базову інтуїцію щодо CNN, я знайшов це питання, і я сподівався допомогти з цією статтею тому, хто також шукає базову інтуїцію і отримав це питання. Гаразд, краще її видалити, так? Дякую.
Анатолій Васильєв

Я думаю, було б чудово сказати: «Ця стаття може служити їжею для роздумів, але не відповідає повністю на питання», або щось подібне. Тут цілком може бути цінність. Просто дайте повне цитування та дайте резюме інформації, що міститься, на випадок, якщо посилання перестане зникати.
gung - Відновіть Моніку

Дякуємо за додаткову інформацію. Чи можете ви надати повне цитування статті (автор, рік, назва, журнал тощо) та короткий виклад її змісту?
gung - Відновіть Моніку

@gung так, звичайно. Але, схоже, ця стаття є лише в цьому блозі, тому я не зміг знайти жодної іншої корисної інформації про неї. Дякую, що ви прояснили мій погляд
Анатолій Васильєв,
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.