Чому існують лише основних компонентів для даних, якщо кількість вимірів ?

У PCA, коли кількість розмірів більша (або навіть дорівнює) кількості зразків , чому саме у вас буде не більше власних векторів ? Іншими словами, ранг коваріаційної матриці серед розмірів - . $d$ $N$ $N-1$ $d\ge N$ $N-1$

Приклад: ваші зразки - це векторизовані зображення розміром , але у вас лише зображень. $d = 640\times480 = 307\,200$ $N=10$

pca dimensionality-reduction eigenvalues

— GrokingPCA
джерело

Уявіть

бали в 2D або в 3D. Яка розмірність колектора, яку займають ці точки? Відповідь

: дві точки завжди лежать на прямій (а лінія є одновимірною). Точна розмірність простору не має значення (доки вона більша за

), ваші точки займають лише одновимірний підпростір. Таким чином, дисперсія лише "поширюється" в цьому підпросторі, тобто вздовж 1 виміру. Це вірно для будь-якого

N = 2

$N=2$

N - 1 = 1

$N-1=1$

N

$N$

N

$N$

— амеба каже: Відновити Моніку

Я додав би лише додаткову точність до коментаря @ amoeba. Точка походження також має значення. Отже, якщо у вас походження N = 2 +, кількість розмірів становить максимально 2 (а не 1). Однак у PCA ми зазвичай центрируємо дані, а це означає, що ми поміщаємо джерело всередині простору хмари даних - тоді один вимір споживається, і відповідь буде "N-1", як показує амеба.

— ttnphns

Це те, що мене бентежить. Це не саме центрування руйнує вимір, так? Якщо у вас рівно N зразків і N розмірів, то навіть після центрування ви все ще маєте N власних векторів ..?

— GrokingPCA

Чому? Саме центрування руйнує один вимір. Центрування (за середнім арифметичним) "переміщує" початок "ззовні" у простір, "охоплений" даними. На прикладі N = 2. 2 бали + деяке походження, як правило, охоплює площину. Коли ви центрируєте ці дані, ви покладете початок на пряму лінію на півдорозі між двома точками. Отже, тепер дані охоплюють лише рядок.

— ttnphns

Евклід уже знав це 2300 років тому: дві точки визначають лінію, три точки визначають площину. Узагальнюючи,

точок визначають

мірний евклідовий простір .

N

$N$

N - 1

$N-1$

— whuber

Поміркуйте, що робить PCA. Простіше кажучи, PCA (як це зазвичай працює) створює нову систему координат:

перенесення походження на центр ваших даних,
стискає та / або розтягує осі, щоб зробити їх рівними по довжині, і
повертає осі в нову орієнтацію.

(Детальніше дивіться у цій чудовій темі резюме: Визначення аналізу основних компонентів, власних векторів та власних значень .) Однак він не просто обертає осі будь-яким старим способом. Ваш новий (перший основний компонент) орієнтований у напрямку ваших даних щодо максимальної зміни. Другий головний компонент орієнтований у напрямку наступної найбільшої кількості варіацій, що є ортогональною до першого головного компонента . Решта основних компонентів формуються аналогічно. $X_1$

Зважаючи на це, давайте розглянемо приклад @ amoeba . Ось матриця даних з двома точками в тривимірному просторі:
Давайте розглянемо ці точки в (псевдо) тривимірному розсіянні:

X = [\begin{array}{ccc} 1 & 1 & 1 \\ 2 & 2 & 2 \end{array}]

$X = \bigg[ \begin{array}{ccc} 1 &1 &1 \\ 2 &2 &2 \end{array} \bigg]$

введіть тут опис зображення

$(1.5, 1.5, 1.5)$ $(0,0,0)$ $(3,3,3)$ $(0,0,3)$ $(3,3,0)$ $(0,3,0)$ $(3,0,3)$

$N=2$ $N-1 = 1$

— gung - Відновити Моніку
джерело