Чому раптове захоплення тензорами?

171

Останнім часом я помічав, що багато людей розробляють тензорні еквіваленти багатьох методів (тензорна факторизація, тензорні ядра, тензори для моделювання тем тощо) Мене цікавить, чому світ раптом захоплюється тензорами? Чи є нещодавні статті, які є особливо дивними, що призвели до цього? Це обчислювально набагато дешевше, ніж раніше підозрювали?

Я не буду глібом, я щиро зацікавлений, і якщо є якісь покажчики до паперів про це, я б хотів їх прочитати.

— YS
джерело

25

Здається, єдиною утримуючою особливістю, яку "тензори великих даних" поділяють зі звичайним математичним визначенням, є те, що вони є багатовимірними масивами. Тож я б сказав, що великі тензори даних - це вигідний спосіб сказати "багатовимірний масив", тому що я дуже сумніваюся, що машинне навчання людей піклуватиметься або про симетричність, або про закони трансформації, якими користуються звичайні тензори математики та фізики, особливо їх корисність при формуванні вільних рівнянь координат.

— Алекс Р.

2

@AlexR. без інваріантності перетворень немає тензорів

— Аксакал,

2

@Aksakal Я, звичайно, дещо знайомий з використанням тензорів у фізиці. Моя думка, що симетричність у фізичних тензорах походить від симетрії фізики, а не чогось суттєвого в дефенсі тензора.

— агіненський

3

@aginensky Якщо тензор був не що інше, як багатовимірний масив, то чому визначення тензорів, знайдених у підручниках з математики, звучать настільки складно? З Вікіпедії: "Числа у багатовимірному масиві відомі як скалярні компоненти тензора ... Так само, як компоненти вектора змінюються, коли ми змінюємо основу векторного простору, так і компоненти тензору змінюються під таким Кожен тензор оснащений законом перетворення, який детально описує, як компоненти тензору реагують на зміну бази ". У математиці тензор - це не просто масив.

— маленькеО

4

Лише деякі загальні думки щодо цієї дискусії: я думаю, що, як і у векторах та матрицях, власне застосування часто стає значно спрощеним описом набагато багатшої теорії. Я читаю цей документ більш глибоко: epubs.siam.org/doi/abs/10.1137/07070111X?journalCode=siread, і одне, що мене справді вражає, - це те, що "репрезентативні" інструменти для матриць (власне значення та розклад власного значення) мають цікаві узагальнення у вищих порядках. Я впевнений, що є ще багато прекрасних властивостей, крім простого приємного контейнера для отримання більше показників. :)

— YS

89

Тензори часто пропонують більш природні уявлення даних, наприклад, розглядають відео, яке складається з очевидно корельованих зображень у часі. Ви можете перетворити це на матрицю, але це просто не природно чи інтуїтивно (що означає факторизація деякого матричного представлення відео?).

Тензори мають тенденцію з кількох причин:

наше розуміння багатолінійної алгебри швидко вдосконалюється, зокрема, в різних типах факторизації, що, в свою чергу, допомагає нам виявити нові потенційні програми (наприклад, багатосторонній компонентний аналіз )
з'являються програмні засоби (наприклад, Tensorlab ) і вітаються
Програми Big Data часто можуть бути вирішені за допомогою тензорів, наприклад, систем рекомендацій , а сам Big Data є гарячим
збільшується обчислювальна потужність, оскільки деякі тензорні операції можуть бути значними (це також одна з основних причин того, що глибоке навчання настільки популярне зараз)

— Марк Класен
джерело

9

Що стосується обчислювальної потужності: я вважаю, що найважливішим є те, що лінійна алгебра може бути дуже швидкою на графічних процесорах, а останнім часом вони отримують більші та швидкі пам’яті, це найбільше обмеження при обробці великих даних.

— Давидм

6

Відповідь Марка Клайсена - хороша. Девід Дансон, відомий професор статистики Дюка, був одним із ключових факторів тензорних підходів до моделювання, як у цій презентації, Байєсової тензорної регресії . icerm.brown.edu/materials/Slides/sp-f12-w1/…

— Майк Хантер

Як згадував Девід, алгоритми Tensor часто піддаються паралелізму, до якого апаратне забезпечення (наприклад, прискорювачі графічного процесора) все більше вдосконалюється.

— Томас Рассел

1

Я припускав, що кращі можливості пам’яті / процесора відіграють роль, але дуже недавній приплив уваги був цікавим; Я думаю, що це має бути через чимало останніх дивовижних успіхів із системами рекомендацій, а можливо, і ядрами для SVM тощо. чудові місця, щоб почати дізнаватися про цей матеріал ...

— YS

5

Якщо ви зберігаєте відео як багатовимірний масив, я не бачу, яким чином цей багатовимірний масив мав би будь-які властивості інваріантності, які повинен мати тензор. Не здається, що слово "тензор" є доречним у цьому прикладі.

— маленькийО

73

Я думаю, що ваше запитання має відповідати відповіді, що так само вільно тече та відкрито, як і саме питання. Отже, ось вони мої дві аналогії.

По-перше, якщо ви не чистий математик, вас, ймовірно, спочатку вчили однозначні ймовірності та статистика. Наприклад, найімовірніше, ваш перший приклад OLS був, ймовірно, на такій моделі:

y_{i} = a + b x_{i} + e_{i}

$y_i=a+bx_i+e_i$ Найімовірніше, ви пройшли шляхом отримання оцінок, фактично мінімізуючи суму найменших квадратів:

T S S = \sum_{i} (y_{i} - \bar{a} - \bar{b} x_{i})^{2}

$TSS=\sum_i(y_i-\bar a-\bar b x_i)^2$ Потім ви пишете FOCs для параметрів і знайдіть рішення:

\frac{\partial T T S}{\partial \bar{a}} = 0

$\frac{\partial TTS}{\partial \bar a}=0$

Потім пізніше вам скажуть, що існує простіший спосіб зробити це з позначенням вектора (матриці):

y = X b + e

$y=Xb+e$

і TTS стає:

T T S = (y - X \bar{b})^{'} (y - X \bar{b})

$TTS=(y-X\bar b)'(y-X\bar b)$

FOC:

2 Х^{'} (у - Х \bar{б}) = 0

$2X'(y-X\bar b)=0$

А рішення -

\bar{б} = (Х^{'} Х)^{- 1} Х^{'} у

$\bar b=(X'X)^{-1}X'y$

Якщо ви добре займаєтеся лінійною алгеброю, ви будете дотримуватися другого підходу, як тільки вивчите це, адже це насправді простіше, ніж записувати всі суми за першого підходу, особливо коли ви потрапляєте в багатовимірну статистику.

Отже, моя аналогія полягає в тому, що перехід до тензорів з матриць подібний до переходу від векторів до матриць: якщо ви знаєте тензори, деякі речі виглядатимуть простіше.

По-друге, звідки беруться тензори? Я не впевнений у всій історії цієї речі, але я навчився їх теоретичній механіці. Безумовно, у нас був курс на тензорах, але я не зрозумів, у чому справа з усіма цими фантазійними способами обміну індексами в цьому математичному курсі. Все почало мати сенс у контексті вивчення сил напруги.

Так, у фізиці вони також починаються з простого прикладу тиску, визначеного як сила на одиницю площі, отже:

Ж = p \cdot г S

$F=p\cdot dS$ Це означає, що ви можете обчислити вектор сили

F

$F$ , помноживши тиск

p

$p$ (скалярний) на одиницю площі

d S

$dS$ (нормальний вектор). Саме тоді ми маємо лише одну нескінченну площинну поверхню. У цьому випадку існує лише одна перпендикулярна сила. Великий повітряний куля був би хорошим прикладом.

Однак якщо ви вивчаєте напругу всередині матеріалів, ви маєте справу з усіма можливими напрямками та поверхнями. У цьому випадку у вас є сили на будь-яку дану поверхню, що тягне або штовхає в усіх напрямках, а не тільки перпендикулярно. Деякі поверхні розриваються дотичними силами "набік" і т. Д. Отже, ваше рівняння стає:

Ж = П \cdot г S

$F=P\cdot dS$ Сила все ще є вектором

F

$F$ а площа поверхні все ще представлена нормальним вектором

d S

$dS$ , але

P

$P$ - a тензор зараз, а не скаляр.

Гаразд, скаляр і вектор - теж тензори :)

Ще одне місце, де природні проявляються тензори, - коваріаційні або кореляційні матриці. Подумайте лише про це: як перетворити один раз кореляційну матрицю $C_0$ в іншу $C_1$ ? Ви розумієте, що ми не можемо зробити це так:

C_{θ} (i, j) = C_{0} (i, j) + θ (C_{1} (i, j) - C_{0} (i, j)),

$C_\theta(i,j)=C_0(i,j)+ \theta(C_1(i,j)-C_0(i,j)),$ де

θ \in [0, 1]

$\theta\in[0,1]$ оскільки нам потрібно зберегти всі

C_{θ}

$C_\theta$ позитивні напіввизначені.

Отже, нам слід було б знайти шлях $\delta C_\theta$ таким, що $C_1=C_0+\int_\theta\delta C_\theta$ , де $\delta C_\theta$ - невелике порушення матриці. Існує багато різних шляхів, і ми могли б шукати найкоротші. Ось так ми потрапляємо в риманову геометрію, колектори та ... тензори.

ОНОВЛЕННЯ: що таке тензор?

@amoeba та інші потрапили в жваву дискусію про значення тензора та про те, чи це те саме, що і масив. Отже, я подумав, що приклад в порядку.

Скажімо, ми йдемо на базар, щоб купити бакалійні товари, і там є два купецькі чуваки, $d_1$ і $d_2$ . Ми помітили, що якщо ми платимо $x_1$ долар $d_1$ і $x_2$ долари $d_2$ то $d_1$ продає нам $y_1=2x_1-x_2$ фунтів яблук, а $d_2$ продає нам $y_2=-0.5x_1+2x_2$ апельсини. Наприклад, якщо ми платимо і 1 долар, тобто $x_1=x_2=1$ , ми повинні отримати 1 фунт яблук і 1,5 апельсина.

Ми можемо виразити це відношення у вигляді матриці $P$ :

 2   -1
-0.5  2

Тоді продавці виробляють стільки яблук і апельсинів, якщо ми платимо їм $x$ доларів:

y = P x

$y=Px$

Це працює точно як матриця шляхом векторного множення.

Скажімо, замість того, щоб купувати товари у цих продавців окремо, ми заявляємо, що ми використовуємо два пакети витрат. Ми або платимо і 0,71 долара, або платимо $d_1$ 0,71 долара і вимагаємо 0,71 долара від $d_2$ назад. Як і в початковому випадку, ми йдемо на базар і витрачаємо $z_1$ на пучок один і $z_2$ на пучок 2.

Отже, давайте подивимось на приклад, коли ми витрачаємо лише $z_1=2$ на пачку 1. У цьому випадку перший продавець отримує $x_1=1$ долар, а другий купець отримує те саме $x_2=1$ . Отже, ми повинні отримувати таку ж кількість продукції, як у наведеному вище прикладі, чи не так?

Можливо, може й ні. Ви помітили, що матриця $P$ не є діагональною. Це свідчить про те, що чомусь один купець платить за свою продукцію, також залежить від того, скільки ми заплатили другому продавцю. Вони повинні отримати уявлення про те, скільки платять їм, можливо, через чутки? У такому випадку, якщо ми почнемо купувати пакети, вони точно знатимуть, скільки ми заплатимо за кожний з них, тому що ми оголосимо свої пачки на базар. У цьому випадку, як ми можемо знати, що матриця $P$ повинна залишатися однаковою?

Можливо, з повною інформацією про наші платежі на ринку формули ціноутворення також зміниться! Це змінить нашу матрицю $P$ , і немає можливості сказати, як саме.

Тут ми вводимо тензори. По суті, з тензорами ми говоримо, що розрахунки не змінюються, коли ми починаємо торгувати пакетами, а не безпосередньо з кожним продавцем. Це обмеження, яке накладе правила перетворення на $P$ , які ми будемо називати тензором.

Особливо ми можемо помітити, що ми маємо ортонормальну основу $\bar d_1,\bar d_2$ , де $d_i$ означає плату 1 долар продавцеві $i$ а іншому нічого. Ми також можемо помітити, що пучки також утворюють ортонормальну основу $\bar d_1',\bar d_2'$ , що також є простим поворотом першої основи на 45 градусів проти годинникової стрілки. Це також перше розкладання ПК. отже, ми говоримо, що перехід на пучки - це проста зміна координат, і це не повинно змінювати обчислення. Зауважте, що це зовнішнє обмеження, яке ми наклали на модель. Це не випливало з чистих математичних властивостей матриць.

Тепер наш шопінг можна виразити як вектор $x=x_1 \bar d_1+x_2\bar d_2$ . Вектори теж тензори, btw. Тензор цікавий: він може бути представлений як

P = \sum_{i j} p_{i j} {\bar{d}}_{i} {\bar{d}}_{j}

$P=\sum_{ij}p_{ij}\bar d_i\bar d_j$ , а бакалії як

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$ . З бакалійні

y_{i}

$y_i$ означає фунт продукції від купця

i

$i$ , а не сплачені долари.

Тепер, коли ми змінили координати для зв’язків, рівняння тензора залишається таким же:

y = P z

$y=Pz$

Це добре, але вектори платежів зараз знаходяться в іншій основі:

z = z_{1} {\bar{г}}_{1}^{'} + z_{2} {\bar{г}}_{2}^{'}

$z=z_1 \bar d_1'+z_2\bar d_2'$ , тоді як ми можемо зберігати вектори виробництва у старій основі

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$ . Змінюється і тензор:

П = \sum_{i j} p_{i j}^{'} {\bar{г}}_{i}^{'} {\bar{г}}_{j}^{'}

$P=\sum_{ij}p_{ij}'\bar d_i'\bar d_j'$ . Неважко вивести, як треба перетворити тензор, це буде

P A

$PA$ , де матриця обертання визначається як

{\bar{d}}^{'} = A \bar{d}

$\bar d'=A\bar d$ . У нашому випадку це коефіцієнт розшарування.

Ми можемо розробити формули для тензорного перетворення, і вони дадуть такий же результат, як у прикладах з $x_1=x_2=1$ і $z_1=0.71,z_2=0$ .

— Аксакал
джерело

2

Я тут розгубився:

So, let's look at an example where we spend just z1=1.42 on bundle 1. In this case, the first merchant gets x1=1 dollars, and the second merchant gets the same x2=1.

раніше ви говорили, що перший пакет - це ми pay both 0.71 dollars. Отже, витрачаючи 1,42 на першу групу, слід отримувати 0,71, а не 1, ні?

— амеба

@ameba, ідея полягає в тому, що пакет 1 -

, так з

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

пачки 1 ви отримуєте

, тобто 1$кожен

\sqrt{2}

$\sqrt 2$

{\bar{d}}_{1} + {\bar{d}}_{2}

$\bar d_1+\bar d_2$

— Aksakal

2

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

@Aksakal Це чудово, дякую! Я думаю, що у вас є друкарська помилка в останньому рядку, де ви кажете x1 = x2 = 1 (правильний) і z1 = 0,71, z2 = 0. Припускаючи, що я все зрозумів правильно, z1 має бути 1,42 (або 1,41, що трохи ближче до 2 ^ 0,5).

— Майк Вільямсон

71

Це не відповідь на ваше запитання, а розширений коментар до питання, яке тут було порушено в коментарях різних людей, а саме: чи машинне навчання «тензорів» те саме, що і тензори з математики?

Тепер, згідно з даними Cichoki 2014, « Ера великої обробки даних: новий підхід через тензорні мережі та тензорні декомпозиції» , та Cichoki та ін. 2014, тензорні склади для додатків для обробки сигналів ,

Тензор вищого порядку може бути інтерпретований як багатопроменевий масив, [...]

Тензор може розглядатися як багатоіндексний числовий масив, [...]

Тензори (тобто багатосторонні масиви) [...]

$1000$ $640\times 480$ $n\times p$

Це не те, як визначаються тензори в математиці та фізиці!

$V$ $V\otimes\ldots\otimes V^*$ $p\times p$ $p\times p\times p$ $p$ $V$

$3\times 3$ $4\times 4$ $4\times 4\times 4\times 4$ $V$

$V\otimes W$ $p$ $V$ $q$ $W$

$V$

$p\times p$ $p$ $V$ $n\times p$ $X$

$X$ $W\otimes V$ $W$ $n$ $V$ $p$ $X$ $V$ $W$ $X$ $W\otimes V$

$X\in\mathbb R^{n\times p}$ $R^{n\times p}$ $n\times p$

Мій висновок такий: (а) тензори машинного навчання не є тензорами з математики / фізики, і (б) здебільшого не корисно розглядати їх як елементи тензорних виробів.

Натомість вони є багатовимірними узагальненнями матриць. На жаль, для цього немає встановленого математичного терміна, тому, схоже, це нове значення «тензор» зараз тут залишилось.

— амеби
джерело

19

p

$p$

10

n

$n$

3

$3$

n

$n$

4

@amoeba, при програмуванні багатовимірних матриць зазвичай називають масивами , але деякі мови, такі як MATLAB, називали б їх матрицями . Наприклад, у FORTRAN масиви можуть мати більше двох розмірів. У таких мовах, як C / C ++ / Java, масиви є одновимірними, але ви можете мати масиви масивів, завдяки чому вони також працюють як багатовимірні масиви. MATLAB підтримує 3 або більше розмірних масивів у синтаксисі.

— Аксакал

3

Це дуже цікаво. Сподіваюся, ви наголосите на цьому. Але будь ласка, будьте обережні, щоб не плутати набір з визначеним ним векторним простором, оскільки розрізнення є важливим у статистиці. Зокрема (щоб підібрати один із ваших прикладів), хоча лінійне поєднання людей є безглуздим, лінійне поєднання функцій, що реально оцінюються, на наборі людей має значення і важливе значення. Наприклад, це ключ до вирішення лінійної регресії.

— whuber

8

Пер Т. Колда, Б., Бада, "Тензорні декомпозиції та програми" SIAM Review 2009, epubs.siam.org/doi/pdf/10.1137/07070111X "Тензор - це багатовимірний масив. Більш формально, тензор N-напрямку або N-го порядку є елементом тензорного добутку N векторних просторів, кожен з яких має власну систему координат. Це поняття тензорів не слід плутати з тензорами у фізиці та техніці (такими, як тензори напружень), які в математиці зазвичай називають тензорними полями »

— Марк Л. Стоун,

14

Як хтось, хто вивчає та будує нейронні мережі та неодноразово ставив це питання, я прийшов до висновку, що ми позичаємо корисні аспекти тензорних позначень просто тому, що вони набагато полегшують деривацію та зберігають наші градієнти у їхніх рідних формах. Ланцюгове правило тензора є одним з найбільш елегантних інструментів деривації я коли - небудь бачив. Подальші тензорні позначення спонукають до обчислювально ефективних спрощень, які просто кошмарно знайти при використанні поширених розширених версій векторного обчислення.

Наприклад, у векторному / матричному обчисленні, наприклад, існує 4 типи матричних продуктів (Адамард, Кронекер, Звичайний та Елементарний), але в тензорному обчисленні є лише один тип множення, але він охоплює всі матричні множення тощо. Якщо ви хочете бути щедрими, інтерпретуйте тензор, щоб мати на увазі багатовимірний масив, який ми маємо намір використати обчислення на основі тензора для пошуку похідних, а не те, що об'єктами, якими ми маніпулюємо, є тензори .

Чесно кажучи, ми, мабуть, називаємо тензори багатовимірних масивів, оскільки більшість експертів з машинного навчання не так сильно переймаються дотриманням визначень математики чи фізики високого рівня. Реальність полягає в тому, що ми просто запозичаємо добре розроблені Ейнштейнські конвенції про підсумки та калькуляції, які зазвичай використовуються при описі тензорів і не хочемо говорити про обчислення на основі конвенції Ейнштейна, що базується знову і знову. Можливо, одного дня ми можемо розробити новий набір позначень і умовних позначень, які крадуть лише те, що їм потрібно з тензорного числення, спеціально для аналізу нейронних мереж, але як молоде поле, на яке потрібен час.

— Джеймс Райланд
джерело

Будь ласка, зареєструйте та / або об'єднайте свої акаунти (інформацію про те, як це зробити, ви можете знайти в розділі " Мій обліковий запис " нашого довідкового центру ), тоді ви зможете редагувати та коментувати власні відповіді.

— gung

10

Зараз я фактично згоден з більшістю змісту інших відповідей. Але я буду грати адвоката диявола в один момент. Знову ж, це буде безперебійно, тому вибачте ...

Google оголосив про програму під назвою Tensor Flow для глибокого навчання. Це змусило мене замислитися, що таке «тензор» щодо глибокого навчання, тому що я не міг зв’язатися з визначеннями, які я бачив.

$i$ $y$

$y_i = \sigma(\beta_i^j x_j)$

Тепер ідея полягає в тому, щоб зв'язати купу таких перетворень, щоб знайти корисне представлення початкових координат. Так, наприклад, після останнього перетворення зображення проста логістична регресія призведе до чудової точності класифікації; тоді як на сирому зображенні це точно не було б.

Тепер те, що, здається, втрачено із зору, - це властивості інваріантності, шукані у відповідному тензорі. Особливо, коли розміри трансформованих змінних можуть відрізнятися від шару до шару. [Наприклад, деякі речі, які я бачив на тензорах, не мають сенсу для неквадратичних якобійців - я можу бракувати деяких методів]

Збережено поняття перетворень змінних і те, що певні подання вектора можуть бути кориснішими, ніж інші, для конкретних завдань. Аналогія полягає в тому, чи є більше сенсу вирішувати проблему в декартових або полярних координатах.

EDIT у відповідь на @Aksakal:

Вектор не може бути ідеально збережений через зміни чисел координат. Однак у деякому сенсі принаймні корисна інформація може зберігатися під час трансформації. Наприклад, за допомогою PCA ми можемо скинути координату, тому ми не можемо перевернути перетворення, але зменшення розмірності може бути корисним. Якщо всі послідовні перетворення були зворотніми, ви могли повернути карту назад від передостаннього шару до вхідного простору. Так, я бачив лише ймовірнісні моделі, які дозволяють (РБМ) здійснювати вибірку.

— здогадки
джерело

1

У контексті нейронних мереж я завжди вважав, що тензори діють так само, як багатовимірні масиви. Чи можете ви детальніше розповісти про те, як властивості інваріантності сприяють класифікації / представленню?

— YS

Можливо, я не був зрозумілий вище, але мені здається - якщо інтерпретація правильна - мета інваріантних властивостей була скинута. Здається, збереглися ідеї змінних перетворень.

— здогадки

\bar{r}

$\bar r$

але хіба це не властивість перетворення більше, ніж тензор? Принаймні з лінійними та елементарними перетвореннями типу, які здаються більш популярними в нейронних мережах, вони однаково присутні у векторах та матрицях; які додаткові переваги тензорів?

— YS

1

@conjectures, PCA - це лише обертання та проекція. Це як обертання N-мірного простору на базі ПК, а потім проектування на підпростір. Тензори використовуються у подібних ситуаціях у фізиці, наприклад, при огляді сил на поверхнях всередині тіл тощо

— Аксакал,

7

Ось злегка відредагований (для контексту) уривок з « Негативної тензорної факторизації» із додатками до статистики та комп’ютерного зору, А. Шашуа та Т. Хазан, який потрапляє до душі, чому хоча б деякі люди захоплюються тензорами.

Будь-яка n-мірна задача може бути представлена у двовимірній формі шляхом об'єднання розмірів. Так, наприклад, проблема знаходження негативної декомпозиції низького рангу набору зображень - це 3-NTF (Негативна тензорна факторизація), при цьому зображення утворюють фрагменти 3D-куба, але також можуть бути представлені у вигляді проблема NMF (факторизація негативної матриці) шляхом векторизації зображень (зображення, що утворюють стовпці матриці).

Є дві причини, через які матричне зображення колекції зображень було б невідповідним:

Просторова надмірність (пікселі, не обов'язково сусідні, мають подібні значення) втрачається у векторизації, тому ми могли б очікувати менш ефективної факторизації, і

Розкладання NMF не є унікальним, тому навіть за наявності генеративної моделі (з локальних частин) NMF не обов'язково рухатиметься в тому напрямку, що емпірично перевірено Чу, М., Діле, Ф., Племмонсом, Р., & Ragni, S. "Оптимальність, обчислення та інтерпретація негативних матричних факторизацій" Журнал SIAM про матричний аналіз, 2004. Наприклад, інваріантні частини набору зображень, як правило, утворюють привиди у всіх факторах і забруднюють ефект розрідження. NTF майже завжди унікальний, тому ми могли б очікувати, що схема NTF рухатиметься до генеративної моделі, і конкретно на неї не впливатимуть інваріантні частини.

— Марк Л. Стоун
джерело

6

[EDIT] Щойно відкрив книгу Пітера МакКаллаха, «Тензорські методи в статистиці» .

Тензори відображати процентні властивості в невідомої ідентифікації суміші в сигналі (або зображеннях), особливо навколо поняття розкладання тензора канонічних поліадіческіх (СР), дивіться, наприклад , тензори: Короткий вступ , П. Comon, 2014. Поля відомо під назвою "відокремлений джерело джерела (BSS)":

Тензорні декомпозиції лежать в основі багатьох алгоритмів розділення сліпого джерела (BSS), явно чи неявно. Зокрема, канонічне поліадичне розкладання тензорів (CP) відіграє центральну роль у виявленні недостатньо визначених сумішей. Незважаючи на деяку схожість, CP і сингулярна декомпозиція величин (SVD) досить різні. Більш загально, тензори та матриці користуються різними властивостями, як зазначено в цьому короткому вступі.

Нещодавно отримані деякі результати унікальності для тенорів третього порядку: Про унікальність канонічного поліадичного розкладання тензорів третього порядку ( частина 1 , частина 2 ), І. Доманов та ін. , 2013 рік.

Тензорні декомпозиції завжди пов'язують із розрідженими розкладами, наприклад, накладаючи структуру на фактори декомпозиції (ортогональність, Вандермонд, Хенкель) та низький ранг, щоб пристосувати їх до неповторності.

З ростом потреби в неповному аналізі даних та визначенні складних вимірювань з масивів датчиків тензори все частіше використовуються для заповнення матриці, прихованого змінного аналізу та поділу джерела.

Додаткове зауваження: мабуть, канонічне поліадичне розкладання також еквівалентне розкладанню Варінга однорідного многочлена як суми потужностей лінійних форм із застосуванням у системній ідентифікації (блокова структурована, паралельна Вінер-Хаммерштейна або нелінійна модель простору держави).

— Лоран Дюваль
джерело

3

Чи можу я з повагою порекомендувати свою книгу: Kroonenberg, PM Applied Multiway Data Analysis та Smilde et al. Багатосторонній аналіз. Застосування в хімічних науках (обидва Wiley). Цікавою може бути і моя стаття: Kroonenberg, PM (2014). Історія багатостороннього компонентного аналізу та тристороннього аналізу відповідності. У Blasius, J. та Greenacre, MJ (ред.). Візуалізація та вербалізація даних (с. 77–94). Нью-Йорк: Chapman & Hall / CRC. ISBN 9781466589803.

Ці посилання говорять швидше про дані багатоканальної мережі, ніж про тензори, але стосуються тієї ж області дослідження.

— Прем'єр-міністр Кроунберг
джерело

-1

Це правда, що люди в машинному навчанні не розглядають тензорів з такою ж уважністю, як математики та медики. Ось документ, який може прояснити цю невідповідність: Комон П., "Тензори: короткий вступ" IEEE Sig. Зб. Журнал , 31 травня 2014 року

— Гора
джерело

5

Чи є різниця між тензором у математиці / фізиці та тензором у машинному навчанні насправді однією з "турбот"? Здається, що люди з машинного навчання використовують «тензор» як загальний термін для масивів чисел (скалярних, векторних, матричних та масивів з 3 і більше осями, наприклад, у TensorFlow), тоді як «тензор» у контексті математики / фізики має інший значення. Думаю, що питання про "піклування", я думаю, полягає в тому, щоб неправильно характеризувати використання як "неправильне" в можливостях машинного навчання, коли насправді контекст машинного навчання не має наміру точно копіювати використання математики / фізики.

— Sycorax