Фон вступу

Всередині конвертної нейронної мережі ми зазвичай маємо загальну структуру / потік, яка виглядає так:

1. вхідне зображення (тобто 2D вектор x)

(1-й згортковий шар (Conv1) починається тут ...)

2. включають набір фільтрів ( w1) вздовж двовимірного зображення (тобто виконайте z1 = w1*x + b1множення крапкового продукту), де z1є 3D, і b1це зміщення.
3. застосувати функцію активації (наприклад, ReLu), щоб зробити z1нелінійним (наприклад a1 = ReLu(z1)), де a13D.

(2-й згортковий шар (Conv2) починається тут ...)

4. включають набір фільтрів уздовж щойно обчислених активацій (тобто виконують z2 = w2*a1 + b2множення крапкового продукту), де z2є 3D, і b2є упередженням.
5. застосувати функцію активації (наприклад, ReLu), щоб зробити z2нелінійним (наприклад a2 = ReLu(z2)), де a23D.

 Питання

Визначення терміна "карта функції", схоже, змінюється від літератури до літератури. Конкретно:

• Для 1 - го сверточного шару, робить «карту функції» відповідає вхідному вектору x, або скалярному твір вихідного z1або вихідним активації a1, або «процес» , що перетворює xдо a1, або що - то ще?
• Аналогічним чином , для 2 - го сверточного шару, робить «карти» функції відповідають вхідним активації a1або скалярному твір вихідного сигналу z2, або активацію виходу a2, або «процес» перетворення , a1щоб a2, чи що - то ще?

Крім того, чи правда, що термін "карта функції" точно такий же, як "карта активації"? (чи вони насправді означають дві різні речі?)

 Додаткові посилання:

Фрагменти з нейронних мереж та глибокого навчання - Розділ 6 :

* Номенклатура тут використовується вільно. Зокрема, я використовую "карту особливостей", щоб мати на увазі не функцію, обчислену згортковим шаром, а активізацію прихованих нейронів, що виходять із шару. Цей вид легкого зловживання номенклатурою досить поширений у дослідницькій літературі.

Уривки з візуалізації та розуміння конволюційних мереж Метта Цейлера :

У цій роботі ми вводимо техніку візуалізації, яка розкриває вхідні стимули, які збуджують окремі карти зображень на будь-якому шарі моделі. [...] Наш підхід, навпаки, забезпечує непараметричний вигляд інваріантності, показуючи, які зразки з навчального набору активують карту особливостей. [...] локальна операція контрасту, яка нормалізує відповіді на картках функцій. [...] Щоб вивчити задану активацію convnet, ми встановимо всі інші активації в шарі до нуля і передамо карти характеристик як вхід до доданого шару декооннету. [...] Конвент використовує нелінійки relu, які виправляють карти функцій, забезпечуючи, таким чином, карти карт завжди позитивними. [...] Convnet використовує вивчені фільтри для зведення карт функцій з попереднього шару. [...] Рис. 6, ці візуалізації є точними поданнями вхідного шаблону, який стимулює задану карту характеристик у моделі [...], коли частини вихідного зображення, що відповідають шаблону, окклюдовані, ми бачимо чітке падіння активності в межах карти функцій. [...]

Зауваження: також вводиться термін "карта функції" та "випрямлена карта об'єктів" на фіг.1.

Знімки з Stanford CS231n Розділ на CNN :

[...] Один небезпечний підводний камінь, який легко помітити при цій візуалізації, - це те, що деякі карти активації можуть бути абсолютно нульовими для багатьох різних входів, що може вказувати на мертві фільтри та може бути симптомом високих показників навчання [...] Типово виглядаючі активації першого шару CONV (зліва) та 5-го шару CONV (праворуч) підготовленого AlexNet, що дивиться на зображення кота. У кожному вікні відображається карта активації, яка відповідає деякому фільтру. Зауважте, що активації є рідкісними (більшість значень дорівнюють нулю, у цій візуалізації показано чорним кольором) і переважно локальні.

Фрагменти з «Посібника для початківців» до «Розуміння-конволюційно-нейронних» мереж

[...] Кожне унікальне розташування на вхідному томі видає число. Просунувши фільтр по всіх локаціях, ви дізнаєтесь, що вам залишилося - це масив чисел 28 x 28 x 1, який ми називаємо картою активації або картою функцій.

Карта функції або карта активації - це активація виводу для даного фільтра (a1 у вашому випадку), і визначення є однаковим, незалежно від того, на якому шарі ви знаходитесь.

Карта функцій та карта активації означають абсолютно те саме. Вона називається картою активації, оскільки це відображення, яке відповідає активації різних частин зображення, а також карта особливостей, оскільки це також відображення того, де в зображенні знайдено певний вид функції. Висока активація означає, що знайдена певна особливість.

"Виправлена ​​карта функцій" - це лише функціональна карта, створена за допомогою Relu. Можливо, ви можете побачити термін "карта функції", який використовується для результатів точкових продуктів (z1), оскільки це дійсно карта, де певні функції є на зображенні, але це не звичайне бачення.

перш ніж поговорити про те, що означає функціональна карта, давайте просто визначити термін векторного ознаки.

особливістю вектора є представлення об'єктів. Наприклад, автомобіль може бути представлений [кількістю коліс, дверей. вікна, вік .. і т.д.].

Мапа функції - це функція, яка приймає в одному просторі функціональні вектори та перетворює їх у вектори функцій в іншому. Наприклад, заданий вектор функції [об'єм, вага, висота, ширина] він може повернути [1, об'єм / вага, висота * ширина] або [висота * ширина] або навіть просто [об'єм]