Чи PCA ядра з лінійним ядром еквівалентний стандартному PCA?

Якщо в PCA ядра я вибираю лінійне ядро , результат буде відрізнятися від звичайного лінійного PCA ? Чи принципово різні рішення чи існує певне чітко визначене співвідношення? $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

pca kernel-trick

— tgoossens
джерело

Підсумок: PCA ядра з лінійним ядром точно еквівалентно стандартному PCA.

Нехай - центрована матриця даних розміром з змінними у стовпцях та точками даних у рядках. Тоді коваріаційна матриця задається , її власні вектори є головними осями, а власні значення - відмінністю ПК. У той же час, можна розглядати так звану матрицю Грама частину розмір. Неважко помітити, що він має однакові власні значення (тобто дисперсії ПК) аж до коефіцієнта , а його власні вектори - це основні компоненти, масштабовані до одиничної норми. $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$

Це був стандартний PCA. Тепер у PCA ядра ми розглядаємо деяку функцію яка відображає кожну точку даних на інший векторний простір, який зазвичай має більшу розмірність , можливо навіть нескінченний. Ідея ядра PCA полягає у виконанні стандартного PCA в цьому новому просторі. $\phi(x)$ $D_\mathrm{new}$

Оскільки розмірність цього нового простору дуже велика (або нескінченна), важко або неможливо обчислити матрицю коваріації. Однак ми можемо застосувати другий підхід до PCA, окреслений вище. Дійсно, матриця Грама все одно буде однаково керована розміром. Елементи цієї матриці задаються , яку ми будемо називати функцією ядра . Це те, що відоме як трюк ядра : насправді ніколи не потрібно обчислювати , а лише . Власні вектори цієї матриці Грама будуть основними компонентами в цільовому просторі, тим, що нас цікавить. $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $\phi()$ $K()$

Тепер відповідь на ваше запитання стає очевидною. Якщо , то матриця Грама ядра зводиться до що дорівнює стандартній матриці Грама і, отже, основні компоненти не зміняться. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Дуже читається посилання на Scholkopf B, Smola A та Müller KR, аналіз основних компонентів Kernel, 1999 р. , І зауважте, що, наприклад, на малюнку 1 вони прямо посилаються на стандартний PCA як той, що використовує крапковий продукт як функцію ядра:

ядро PCA

— Амеба каже Відновити Моніку
джерело

це були ті знімки у вашій відповіді? З якоїсь книги?

— Буратіно

@ Піноккіо, фігура взята у Scholkopf et al. папір, на який посилається і пов'язаний у моїй відповіді.

— Амеба каже: Відновити Моніку

"Неважко помітити, що він має однакові власні значення (тобто дисперсії ПК) аж до фактора n-1 " - чи не означає це, що тоді вони не є повністю еквівалентними? Скажімо, у мене є матриця з n = 10 зразків, d = 200 розмірів. У стандартному PCA я міг би спроектувати дані на 199 розмірів, якби хотів, але в PCA ядра з лінійним ядром я можу мати до 10 вимірів.

— Сезар

@ Cesar, ні, якщо у вас n = 10 зразків, матриця коваріації матиме ранг 10-1 = 9, а стандартний PCA знайде лише 9 розмірів (як і PCA ядра). Дивіться тут: stats.stackexchange.com/questions/123318 .

— амеба каже, що повернеться до Моніки

Я отримую файл, не знайдений для посилання на Scholkopf B, Smola A та Müller KR.

— pbible

Окрім приємної відповіді амеби, існує ще простіший спосіб побачити еквівалентність. Знову нехай - матриця даних розміром з змінними в стовпцях і точками даних у рядках. Стандартний РСА відповідає приймає розкладання по сингулярним значенням матриці з основні компоненти . розкладання величини лінійного ядра $X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ має однакові ліві сингулярні вектори і тому однакові головні компоненти.

— Марта Вайт
джерело

Щодо стандартного PCA, я думав, що ми піклуємось про SVD коваріаційної матриці, тож насправді не розумію, наскільки SVD X має значення, чи можете ви, будь ласка, розширити?

— m0s

@ m0s Для PCA ми дбаємо про ейгендекомпозицію матриці коваріації, яку ми зазвичай виконуємо за SVD (в центрі) матриці даних.

— MrDrFenner

Мені здається, що KPCA з лінійним ядром має бути таким же, як і простий PCA.

Матриця коваріації, з якої ви збираєтеся отримувати власні значення, однакова:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

З більш детальною інформацією можна ознайомитись тут .

— Юндіяй
джерело

K (x_{i}, x_{j})

$K(x_i, x_j)$