Тензори в літературі з нейронної мережі: яке найпростіше визначення там?


16

У літературі з нейронної мережі часто ми зустрічаємо слово "тензор".

Чи відрізняється він від вектора? А з матриці? Чи є у вас якийсь конкретний приклад, який уточнює його визначення?

Я трохи розгублений щодо його визначення. Вікіпедія не допомагає, і іноді у мене складається враження, що її визначення залежить від конкретного середовища машинного навчання (TensorFlow, Caffee, Theano).


Відповіді:


12

Для цілей аналізу даних можна ефективно розглядати їх як масиви, можливо, багатовимірні. Таким чином, вони включають скаляри, вектори, матриці та всі масиви вищого порядку.

Точне математичне визначення складніше. В основному ідея полягає в тому, що тензори перетворюють багатолінійні функції в лінійні функції. Див. (1) або (2) . (Багатолінійні функції - це функції, лінійні в кожному зі своїх компонентів, приклад - детермінант, що розглядається як функція векторів стовпців.)

Одним із наслідків цього тензору, що визначає математичну властивість, є те, що тензори добре трансформуються відносно якобійців, які кодують перетворення від однієї системи координат до іншої. Ось чому часто можна бачити визначення тензора як "об'єкта, який певним чином перетворюється під зміною координат" у фізиці. Подивіться, наприклад, це відео чи це .

Якщо ми маємо справу з досить "приємними" об'єктами (усі похідні, які ми хотіли б існувати і чітко визначені), то всі ці способи мислення про тензори по суті рівнозначні. Зауважимо, що перший спосіб думати про тензори, про які я згадував (багатовимірні масиви), ігнорує різницю між коваріантним та противаріантним тензорами. (Відмінність полягає у тому, як змінюються їх коефіцієнти при зміні базису базового векторного простору, тобто по суті між вектором рядків та стовпців.) Дивіться інші питання StackExchange: (1) (2) (3) (4)

Для книги, що використовується дослідниками, що вивчають застосування тензорів до нейронних мереж (наприклад, в Техніоні в Ізраїлі), є тензорні простори Вольфганга Хакбуша і чисельне обчислення . Я ще цього не читав, хоча в деяких пізніших главах, здається, використовується передова математика.


3
+1. Дуже пов’язані: stats.stackexchange.com/a/198395/28666 . Мені здається, що в машинному навчанні тензори - це просто масиви і нічого більше. У математиці тензори розуміються по-різному; і зазвичай слово "тензор" вживається більш вузько, ніж "елемент тензорного добутку". Дивіться пов’язану відповідь.
амеба каже: Відновити Моніку
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.