Яка інтуїція стоїть за SVD?

Я читав про сингулярне розкладання значення (SVD). Майже у всіх підручниках зазначається, що вона розподіляє матрицю на три матриці із заданою специфікацією.

Але яка інтуїція за розбиттям матриці в такій формі? PCA та інші алгоритми зменшення розмірності є інтуїтивно зрозумілими, оскільки алгоритм має властивість візуалізації, але з SVD це не так.

— ШАШАНК ГУПТА
джерело

Ви можете почати з інтуїції розкладання власного значення-власного вектора, оскільки SVD є розширенням його для всіх видів матриць, а не лише квадратних.

— ДжонК

В Інтернеті є багато приміток та відповідей на резюме про SVD та його роботу.

— Владислав Довгалець

SVD можна розглядати як алгоритм стиснення / навчання. Це лінійний компресорний декомпресор. Матриця M може бути представлена множенням SVD. S - компресор V визначає, скільки помилок ви хотіли б мати (стиснення втрат), а D - декомпресор. Якщо ви зберігаєте всі діагональні значення V, то у вас є компресор без втрат. Якщо ви почнете викидати невеликі сингулярні значення (нулюючи їх), ви не зможете точно реконструювати початкову матрицю, але все одно буде близькою. Тут термін близький вимірюється нормою Фробеніуса.

— Cagdas Ozgenc

@Cagdas, якщо ви це зробите, будь ласка, уважно визначте, що ви приймаєте "S" "V" і "D" математично. Я раніше не бачив, щоб ініціали перевантажувались у самій нотації (яка, наприклад, має особливі значення). Здається, це ймовірне джерело плутанини,

— Glen_b

Чи знаєте ви, як оцінити PCA за допомогою SVD? Якщо так, то чи можете ви пояснити, чому ви відчуваєте, що чогось не вистачає у вашому розумінні SVD? Дивіться це

— Аксакал

Відповіді:

Запишіть SVD матриці (дійсне, ) як де дорівнює , - діагональна а - . З точки зору стовпців матриць і можна записати $X$ $n\times p$

X = U D V^{T}

$X = U D V^T$

U

$U$

n \times p

$n\times p$

D

$D$

p \times p

$p\times p$

V^{T}

$V^T$

p \times p

$p\times p$

U

$U$

V

$V$

X = \sum_{i = 1}^{p} d_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^p d_i u_i v_i^T$ . Це показує

записаний у вигляді суми

матриць 1 рангу. Як виглядає матриця 1-го рангу? Подивимось:

Рядки пропорційні, а стовпці пропорційні.

X

$X$

p

$p$

(\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}) (\begin{matrix} 4 & 5 & 6 \end{matrix}) = (\begin{matrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{matrix})

$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$

Подумайте тепер про як містить значення сірого масштабу чорно-білого зображення, кожен запис у матриці представляє один піксель. Наприклад, наступна картина бабуїна: $X$

Потім прочитайте це зображення в R і отримайте матричну частину отриманої структури, можливо, використовуючи бібліотеку pixmap.

Якщо ви хочете покрокове керівництво щодо відтворення результатів, код ви можете знайти тут .

Обчисліть SVD:

baboon.svd  <-  svd(bab) # May take some time

$512 \times 512$ $512$ $512$ $1$ $20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

в результаті виходять наступні два зображення:

Ліворуч ми можемо легко побачити вертикальні / горизонтальні смуги на зображенні ранг-1.

$20$

Що досить цікаво: ми бачимо частини оригінального зображення, які важко зобразити як накладку вертикальних / горизонтальних ліній, переважно діагональних волосся з носа та деякої текстури та очей!

— kjetil b halvorsen
джерело

Я думаю, ви мали на увазі реконструкцію низького рангу, а не малу дальність. Не звертай уваги. Це дуже гарна ілюстрація (+1). Ось чому це лінійний компресорний декомпресор. Зображення наближене лініями. Якщо ви справді виконуєте подібний автокодер з нейронною мережею з функціями лінійної активації, ви дійсно побачите, що він також дозволяє лініям з будь-яким нахилом не тільки вертикальних і горизонтальних ліній, що робить його трохи більш потужним, ніж SVD.

— Cagdas Ozgenc

X = U Σ V^{*}

$X = U \Sigma V^*$

n \times p

$n \times p$

X

$X$

U

$U$

n \times n

$n \times n$

Σ

$\Sigma$

n \times p

$n \times p$

V

$V$

p \times p

$p \times p$

Дивіться math.stackexchange.com/questions/92171/… ще кілька прикладів

— kjetil b halvorsen

@ kjetil-b-halvorsen Мене цікавить, як зміниться дешифрування, якби я використовував PCA для позначення програми. Буду вдячний, якщо ви можете відповісти на моє запитання тут stats.stackexchange.com/questions/412123/…

— Kumar

@CowboyTrader цікаве спостереження. Моє розуміння машинного навчання / нейронної мережі досить обмежене. Отже, я не розумію, що якби у одного єдиного галасливого зображення і більше нічого не тренуватися, як би працювала нейронна мережа?

— Душиант Кумар

$A$ $m \times n$ $m \geq n$ $v$ $A$

\begin{aligned} (1) & v_{1} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$

v_{1}

$v_1$

A

$A$

\begin{aligned} v_{2} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ⟨ v_{1}, v ⟩ = 0, \\ ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$

v_{1}, \dots, v_{n}

$v_1, \ldots, v_n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

A

$A$

Нехай (так кількісно визначає вибухову силу у напрямку ). Припустимо, що одиничні вектори визначені так, що Рівняння (2) можна виразити стисло, використовуючи позначення матриці як де - матриця , й стовпець , - матриця , стовпець - це , і $\sigma_i = \|A v_i \|_2$ $\sigma_i$ $A$ $v_i$ $u_i$

\begin{matrix} (2) & A v_{i} = σ_{i} u_{i} for i = 1, \dots, n . \end{matrix}

$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$

\begin{matrix} (3) & A V = U Σ, \end{matrix}

$\tag{3} A V = U \Sigma,$

V

$V$

n \times n

$n \times n$

i

$i$

v_{i}

$v_i$

U

$U$

m \times n

$m \times n$

i

$i$

u_{i}

$u_i$

Σ

$\Sigma$ - діагональна матриця , - діагональна запис - . Матриця є ортогональною, тому ми можемо помножити обидві сторони (3) на щоб отримати Може здатися, що зараз ми отримали SVD з майже нульовим зусиллям. Жоден із кроків поки що не був складним. Однак вирішальний фрагмент картини відсутній - ми ще не знаємо, що є ортогональним.

n \times n

$n \times n$

i

$i$

σ_{i}

$\sigma_i$

V

$V$

V^{T}

$V^T$

A = U Σ V^{T} .

$A = U \Sigma V^T.$

A

$A$

U

$U$

Ось найважливіший факт, відсутній фрагмент: виявляється, що є ортогональним : Я стверджую, що якби це не було правдою, то не було б оптимальним для проблеми (1). Дійсно, якби (4) не були задоволені, то можна було б покращити , потурбувавши його трохи у напрямку . $A v_1$ $A v_2$

\begin{matrix} (4) & ⟨ A v_{1}, A v_{2} ⟩ = 0. \end{matrix}

$\tag{4} \langle A v_1, A v_2 \rangle = 0.$ $v_1$

v_{1}

$v_1$

v_{2}

$v_2$

Припустимо (для суперечності), що (4) не виконується. Якщо обурений трохи в ортогональному напрямку , норма не змінюється (або, принаймні, зміна норми є незначною). Коли я ходжу по поверхні землі, моя відстань від центру землі не змінюється. Однак, коли обурений у напрямку , вектор обурений в неортогональному напрямку , і тому зміна норми є незначним . Норма $v_1$ $v_2$ $v_1$ $v_1$ $v_1$ $v_2$ $A v_1$ $A v_2$ $A v_1$ $A v_1$ може бути збільшена на незначну кількість. Це означає, що не є оптимальним для проблеми (1), що є протиріччям. Мені подобається цей аргумент, тому що: 1) інтуїція дуже чітка; 2) інтуїція може бути перетворена безпосередньо в суворий доказ. $v_1$

Аналогічний аргумент показує, що є ортогональним як для і для тощо. Вектори попарно ортогональні. Це означає, що одиничні вектори можна вибрати ортогональними, а це означає, що матриця вище є ортогональною матрицею. Це завершує наше відкриття SVD. $A v_3$ $A v_1$ $A v_2$ $A v_1, \ldots, A v_n$ $u_1, \ldots, u_n$ $U$

Щоб перетворити вищезазначений інтуїтивний аргумент у суворий доказ, ми маємо протистояти тому, що якщо обурений у напрямку , збурений вектор насправді не є одиничним вектором. (Його норма - .) Щоб отримати суворий доказ, визначте Вектор справді одиничний вектор. Але як ви легко можете показати, якщо (4) не задоволено, то для досить малих значень маємо (припустимо, що знак $v_1$ $v_2$

{\tilde{v}}_{1} = v_{1} + ϵ v_{2}

$\tilde v_1 = v_1 + \epsilon v_2$

\sqrt{1 + ϵ^{2}}

$\sqrt{1 + \epsilon^2}$

{\bar{v}}_{1} (ϵ) = \sqrt{1 - ϵ^{2}} v_{1} + ϵ v_{2} .

$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$

{\bar{v}}_{1} (ϵ)

$\bar v_1(\epsilon)$

ϵ

$\epsilon$

f (ϵ) = ‖ A {\bar{v}}_{1} (ϵ) ‖_{2}^{2} > ‖ A v_{1} ‖_{2}^{2}

$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$

ϵ

$\epsilon$ обрано правильно). Щоб показати це, просто перевірте, що . Це означає, що не є оптимальним для проблеми (1), що є протиріччям.

f^{'} (0) \neq 0

$f'(0) \neq 0$

v_{1}

$v_1$

(До речі, я рекомендую ознайомитись із поясненням ЦДАочу Юану щодо СВД тут . Зокрема, погляньте на "Ключову лему № 1", про що ми говорили вище. Як каже Цяочу, ключова лема № 1 - "технічне серце" сингулярного розкладання значення ".)

— малоO
джерело

Чувак взяв годину свого дня і переглянь цю лекцію: https://www.youtube.com/watch?v=EokL7E6o1AE

Цей хлопець супер прямо вперед, важливо не пропустити жодне з нього, тому що все це зрештою збирається. Навіть якщо на початку це може здатися трохи повільним, він намагається закріпити критичну точку, що і робить!

Я підсумую це для вас, а не просто дам вам три матриці, які всі роблять (бо це мене бентежило, коли я читав інші описи). Звідки беруться ці матриці і чому ми її встановлюємо так? Лекція нігтів це! Кожна матриця (будь-коли в історії вічності) може бути побудована з базової матриці з однаковими розмірами, потім повернути її та розтягнути (це основна теорема лінійної алгебри). Кожна з цих трьох матриць, які люди перекидають, являють собою початкову матрицю (U), матрицю масштабування (сигму) та матрицю обертання (V).

Матриця масштабування показує, які вектори обертання домінують, вони називаються сингулярними значеннями. Розкладання розв’язується для U, сигми та V.

— Тім Джонсен
джерело