Як зрозуміти "нелінійне" як "нелінійне зменшення розмірності"?

24

Я намагаюся зрозуміти відмінності між методами зменшення лінійної розмірності (наприклад, PCA) та нелінійними (наприклад, Isomap).

Я не можу повністю зрозуміти, що означає (не) лінійність у цьому контексті. Я прочитав з Вікіпедії це

Для порівняння, якщо PCA (алгоритм зменшення лінійних розмірностей) використовується для зменшення цього ж набору даних на два виміри, отримані значення не так добре організовані. Це свідчить про те, що великі розмірні вектори (кожен з яких представляє букву "А"), які вибирають цей колектор, змінюються нелінійно.

Що робить

великі розмірні вектори (кожен з яких представляє букву "А"), які вибирають цей колектор, змінюються нелінійно.

означає? Або, ширше, як я розумію (не) лінійність у цьому контексті?

— Сіббс Азартні ігри
джерело

20

Зменшення розмірності означає, що ви зіставляєте кожен багатовимірний вектор у низькомірний вектор. Іншими словами, ви представляєте (замінюєте) кожен багатовимірний вектор низькомірним вектором.

Лінійне зменшення розмірності означає, що компоненти низькомірного вектора задаються лінійними функціями компонентів відповідного великогабаритного вектора. Наприклад, у випадку зменшення до двох вимірів у нас є:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Якщо f1і f2є (не) лінійними функціями, ми маємо (не) лінійне зменшення розмірності.

— Роман
джерело

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ є компонентами низько- та великомірних векторів відповідно (і я думаю, це не те, що ви маєте на увазі). Я думав, що проблема полягає не в розумінні того, що таке лінійна функція, а в тому, де з'являється лінійність.

— Роман

49

Малюнок вартує тисячі слів:

PCA проти Isomap

Тут ми шукаємо 1-мірну структуру в 2D. Точки лежать уздовж S-подібної кривої. PCA намагається описати дані за допомогою лінійного одновимірного колектора, який є просто лінією; звичайно, рядок відповідає цим даним досить погано. Ізомап шукає нелінійний (тобто вигнутий!) Одновимірний колектор, і він повинен мати можливість виявити нижню S-подібну криву.

— Амеба каже Відновити Моніку
джерело