Поясніть кроки алгоритму LLE (локального лінійного вбудовування)?

Я розумію, що основний принцип алгоритму для LLE складається з трьох етапів.

Пошук сусідства кожної точки даних за деяким показником, таким як k-nn.
Знайдіть ваги для кожного сусіда, який позначає вплив, який має сусід на точку даних.
Побудуйте низькомірне вбудовування даних на основі обчислених ваг.

Але математичне пояснення кроків 2 та 3 є заплутаним у всіх прочитаних нами текстових підручниках та інтернет-ресурсах. Я не в змозі міркувати, чому формули використовуються.

Як ці кроки виконуються на практиці? Чи існує інтуїтивний спосіб пояснення використовуваних математичних формул?

Посилання: http://www.cs.nyu.edu/~roweis/lle/publications.html

— Користувач1234321232
джерело

$\mathbf{Y}$

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$

W

$\mathbf{W}$

w_{i j}

$w_{ij}$

i

$i$

j

$j$

j

$j$

i

$i$

i

$i$

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$ вектор одиниць, - матриця грамів для всіх найближчих сусідів об'єкта , а - вектор ваг які відповідають обмеженням суми до єдності. Нехай - симетрична додатна семидефінітна матриця відстані для всіх пар K-найближчих сусідів -вимірного об'єкта . Можна показати, що дорівнює матриці відстані вдвічі по центру з елементами

G

$\mathbf{G}$

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$ Коефіцієнти регресії визначаються чисельно за допомогою і перевіряються для підтвердження вони дорівнюють єдності. Значення вбудовані в ряд з на різних позиціях стовпців , відповідних K-найближчих сусідів об'єкта

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$ , а також транспозиційні елементи. Це повторюється для кожного го об’єкта набору даних. Це гарантує зауваження, що якщо кількість найближчих сусідів занадто мала, то може бути рідким, що спричинить ейгенаналіз. Було помічено, що найближчих сусідів привели до матриць, які не містили патологій під час ейгенаналізу. Цільова функція зведена до мінімуму шляхом знаходження найменших ненульових власних значень Скорочена форма представлена символом

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$ де має розміри на основі двох найменших власних значень .

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— Логіка NXG
джерело

"K = 9 найближчих сусідів" Чи не це залежить від розмірності ? Наприклад, якщо має менше 9 розмірів, то матриця ваги однозначно не визначається. Це викликає проблеми з LLE?

Y

$Y$

Y

$Y$

W

$W$

— Скотт

Так, але якщо є, скажімо, 8 вимірів, то для випадкових даних буквально кожну точку можна записати ідеально як лінійну комбінацію 9 інших, у нескінченну кількість способів.

— Скотт

Завжди є сценарії "що якщо" при впровадженні методики, і саме тому використовуються обмеження параметрів.

— NXG Logic