Що таке вектор активності в нейронних мережах?

Я читав нову статтю Хінтона "Динамічна маршрутизація між капсулами" і не розумів терміна "вектор активності" в рефераті.

Капсула - це група нейронів, вектор активності якої представляє параметри інстанції конкретного типу сутності, таких як об'єкт або частина об'єкта. Ми використовуємо довжину вектора активності, щоб представити ймовірність існування сутності та її орієнтацію для представлення параметрів інстанції. Активні капсули на одному рівні роблять прогноз за допомогою матриць перетворення для параметрів екземпляра капсул вищого рівня. Коли кілька прогнозів узгоджуються, капсула вищого рівня стає активною. Ми показуємо, що дискримінаційно навчена багатошарова система капсул досягає найсучасніших характеристик на MNIST і є значно кращою, ніж звивиста сітка при визнанні сильно перекриваються цифр. Для досягнення цих результатів ми використовуємо ітеративний механізм маршрутизації за домовленістю:

https://arxiv.org/pdf/1710.09829.pdf

Я думав, що вектор - це як масив даних, який ти працюєш через мережу.

Я почав працювати через курс глибокого навчання Ендрю Нґ, але все нове, і терміни переходять у мене над головою.

У традиційній нейронній мережі вершини мереж є нейронами, а вихід одного нейрона є єдиним значенням (" скалярним "). Це число називається його активацією . Шар нейронів в мережі виводить вектор активацій. Ми не повинні плутати це з векторами активності в мережі капсул.

Капсульні мережі відрізняються тим, що вершини мережі - це капсули, а не нейрони. Вони є більш вимірними: вихід Капсули не скалярний, а вектор, що представляє групу параметрів, пов'язаних з входом. Звідси вектор активації імені .

Мотивація

У нейромережі немає притаманної структури між скалярними виходами нейронів, цьому слід вивчити наступні шари. У Capsule Networks виведення капсули представляє всі параметри, пов'язані з цим разом у векторі, включаючи прогнозування активації капсул більш глибокого шару. Це додає корисної локальної структури.

Наприклад, розглянемо розпізнавання обличчя. Якщо у вас є капсула, яка вміє розпізнавати очі, вона могла б вивести вектор активності, що представляє, наприклад, "оскільки я розпізнав положення очей (x, y) з ймовірністю p = 0,97, я прогнозую, що параметри для всього обличчя будуть (f1, ... fn) ".

Як пояснено в папері " Динамічна маршрутизація між капсулами", ви посилаєтесь на цю інформацію, потім капсули використовуються таким чином, що капсули в більш ранніх шарах (частини: око, рот, ніс) передбачають активацію глибших шарів (обличчя). Наприклад, розпізнавальник обличчя буде сильно активований лише тоді, коли між розпізнавачем очей, носа та рота (частин) та розпізнавачем обличчя (цілим) буде встановлено узгодження обличчя про те, де знаходиться обличчя ( (f1, ... fn ) параметри).

Історичне натхнення

Старіші алгоритми комп'ютерного зору, такі як SIFT, працюють аналогічно, коли розпізнавання базується на згоді між конфігурацією багатовимірних функцій (ключових точок) та еталонною конфігурацією.

Я вважав, що це означає щось на кшталт "вектора активації нейронів у капсулі". Активація для даного нейрона - це зважена сума його входів, що передаються через функцію активації (сигмоїд, релу тощо).