Чи унікальні рішення PCA?

12

Коли я запускаю PCA на певному наборі даних, чи рішення мені надається унікальним?

Тобто, я отримую набір 2d координат на основі проміжних відстаней. Чи можливо знайти хоча б ще одне розташування точок, яке б відповідало цим обмеженням?

Якщо відповідь "так", як я можу знайти таке різне рішення?

pca

— райгозаг
джерело

11

Відповідь на питання про унікальність - і так, і ні. Це "так" в тому сенсі, що власні простори та власні значення математично добре і однозначно визначені. Почуттям «ні» є те, що (а) існує кілька способів представити ці власні простори (навіть нормалізований власний вектор можна заперечувати, і існує багато варіантів основи для вироджених власних просторів) і (б) різні алгоритми можуть давати результати, які відрізняються через накопичення помилки з плаваючою комою в розрахунках.

— whuber

Рамсей і Сільверман у книзі "Функціональний аналіз даних" згадують обертання VARIMAX. Ви говорите про розбиття набору даних функцій (представлених як матриця) на основні компоненти.

— потужність

Здається, ви хочете використовувати PCA як інструмент для зменшення розмірів. Ви можете почати з огляду зменшення розмірності ...

— Елвіс

7

Ні, відповідь не є однозначною. Є багато способів цього показати. Однією з можливостей є зауваження, що спектральне розкладання квадрата по матриці є рішенням максимізації опуклої функції . Розглянемо перший власний вектор / значення: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(де - перше власне значення, а перший власний вектор). $\lambda_1$ $w^*$

Рішення таких проблем (наприклад , значення досягнення цієї максимум), загалом, не є унікальним. $w$

Однак алгоритми обчислення цих рішень є детермінованими, це означає, що, крім економії для числових кутових випадків, отримані рішення повинні бути однаковими.

Приклад таких числових кутових випадків: випадки, коли кілька власних значень (чисельно) однакові, випадки, коли має дефіцит за рангом ... $X$

— user603
джерело

7

Що ще не помічено, це те, що просто повернення знака ПК створює інше рішення. Тобто, якщо є ятим головним компонентом, то також є рішенням го головного компонента. Це викликало плутанину раніше, особливо коли ваш комп'ютер видає змінні ПК. Дивіться це питання . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
джерело

3

Про цікаве практичне застосування цієї неоднозначності дивіться на сайті stats.stackexchange.com/questions/34396 . (До речі, зміна знака була зауважив: см перший коментар до цього питання.)

— whuber