PCA, ICA та лаплакійські власні карти

Питання

Мене дуже цікавить метод Лаплаціанських власних карт. В даний час я використовую його для зменшення розмірів на моїх наборах медичних даних.

Однак я зіткнувся з проблемою за допомогою методу.

Наприклад, у мене є деякі дані (спектральні сигнали), і я можу використовувати PCA (або ICA), щоб отримати деякі ПК (або ІС). Проблема полягає в тому, як отримати аналогічні компоненти зменшених розмірів вихідних даних за допомогою LE?

Відповідно до методу власних карт Лаплаціа, нам потрібно вирішити узагальнену задачу про власне значення, яка є

$L y = \lambda D y$

Тут - власний вектор. Якщо я побудую, наприклад, 3 найкращих власних вектора (рішення відповідно до 3 власних значень), результати не можна інтерпретувати.$y$

Однак, коли я будую основні 3 ПК та 3 найкращих ІС, результати завжди, здається, наочно (візуально) представляють вихідні дані .$x$

Я припускаю, що причина полягає в тому, що матриця визначається ваговою матрицею (матриця суміжності ), а дані оснащені тепловим ядром для створення , яке використовує експоненціальну функцію. Моє запитання - як відновити зменшені компоненти (а не власний вектор матриці )?$L$$W$$x$$W$$x$$y$$L$

Дані

Мій набір даних обмежений і це не просто продемонструє проблему. Тут я створив проблему з іграшками, щоб показати, що я маю на увазі і що хочу запитати.

Будь ласка, дивіться картинку,

По-перше, я створюю декілька синусоїд A, B, C, що відображаються червоними кривими (перший стовпець рисунка). A, B і C мають 1000 зразків, іншими словами, збережені в 1х1000 векторах.

По-друге, я змішував джерела A, B, C, використовуючи випадково створені лінійні комбінації, наприклад, , в яких - випадкові значення. Змішаний сигнал знаходиться в дуже високомірному просторі, наприклад, , 1517 є випадковим чином обраним просторовим простором. Я показую лише перші три ряди сигналу M зеленими кривими (другий стовпець рисунка).$M = r_1*A + r_2*B + r_3*C$$r_1, r_2, r_3$$M$$M \in R^{1517\times1000}$

Потім я запускаю PCA, ICA та лаплаціанські власні карти, щоб отримати результати зменшення розмірів. Я вирішив використовувати 3 ПК, 3 ІС та 3 ЛЕ, щоб зробити справедливе порівняння (сині криві показали відповідно 3-й, 4-й та останній стовпчик рисунка відповідно).

З результатів PCA та ICA (3-й, 4-й стовпець рисунка) ми бачимо, що ми можемо інтерпретувати результати як деяке зменшення розмірів, тобто для результатів ICA ми можемо відновити змішаний сигнал за (я не впевнений, чи зможемо ми також отримати з результатами PCA, але результат здається мені цілком правильним).$M = b_1*IC1 + b_2*IC2 + b_3*IC3$$M = a_1*PC1 + a_2*PC2 + a_3*PC3$

Однак, будь ласка, подивіться на результати ЛЕ, я ледь можу інтерпретувати результати (останній стовпець рисунка). Здається, що зі скороченими компонентами щось "не так". Також хочу зазначити, що врешті-решт графік останнього стовпця є власним вектором у формулі$y$$L y = \lambda D y$

У вас людей було більше ідей?

Фіг.1 за допомогою 12 найближчих сусідів і сигми в нагрівальному ядрі дорівнює 0,5:

Фіг.2 за допомогою 1000 найближчих сусідів та сигми в нагрівальному ядрі дорівнює 0,5:

Вихідний код : Код Matlab з необхідним пакетом

Відповідь на ваше запитання дає відображення внизу сторінки 6 оригінального паперу про лаплакійські власні карти :

$x_i \rightarrow (f_1(i), \dots, f_m(i))$

Так, наприклад, вбудовування точки $x_5$ у, скажімо, топ-2 "компонентів" задано $(f_1(5), f_2(5))$ де $f_1$ і $f_2$ - це власні вектори, що відповідають двом найменшим ненульовим власним значенням з узагальненої задачі про власне значення $L f = \lambda D f$.

Зауважте, що на відміну від PCA, отримати вбудований зразок непросто. Іншими словами, ви можете отримати вбудовування точки, яка вже була розглянута при обчисленні$L$, але не (легко), якщо це новий пункт. Якщо вам цікаво зробити останнє, знайдіть цей документ .

Ось посилання на веб-сторінку курсу проф. Троссета, а також він пише книгу http://mypage.iu.edu/~mtrosset/Courses/675/notes.pdf, яка оновлюється щотижня або близько того. Наведено також функції R для лаплакійських власних карт. Просто спробуйте самі. Ви також можете розглянути цей документ від Белкіна

Дякую Абхіку, студенту проф. Тросета

На відміну від PCA-лаплакійських власних карт використовуються узагальнені власні вектори, що відповідають найменшим власним значенням. Він пропускає власний вектор з найменшим власним значенням (може бути нульовим) і використовує власні вектори, що відповідають наступним кільком найменшим власним значенням. PCA - це максимальна дисперсія, що зберігає вбудовування, використовуючи ядро ​​/ грам матрицю. Laplacian Eigenmaps ставиться скоріше як проблема мінімізації стосовно комбінаторного графіка лаплаціана (див. Статті Троссета).