Лінійність PCA

35

Однак PCA вважається лінійною процедурою:

П С А (Х) \neq П С А (Х_{1}) + П С А (Х_{2}) + \dots + П С А (Х_{н}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

де . Це означає, що власні вектори, отримані PCA на матрицях даних , не дорівнюють власним векторам, отриманим PCA, на суму матриць даних . Але не визначення лінійної функції : $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (х + у) = f (х) + f (у) ?

$f(x+y)=f(x)+f(y)?$

То чому PCA вважається "лінійним", якщо він не задовольняє цій самій основній умові лінійності?

pca linear

— AlphaOmega
джерело

Колись я писав чи чув (вибачте, не можу згадати, де чи коли), що PCA "належить до сімейства лінійних процедур", оскільки він покладається на лінійні залежності між змінними. Він використовує матрицю кореляції Пірсона та шукає лінійні комбінації найвищої дисперсії.

— Łukasz Deryło

4

Характер цього питання може стати дещо зрозумілішим, розглядаючи набагато простішу і рутиннішу установку звичайної регресії найменших квадратів: це архетип лінійної статистичної процедури. Проте, процес оцінки коефіцієнтів найменших квадратів є явно нелінійної функцією матриці даних

, про що свідчить за формулою

. (Зауважте, що це лінійна функція вектора відповіді

.)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Можливо, варто пам’ятати, що f (x) = x + 1 теж є "лінійною функцією" ... але вона не задовольняє тому, що ви щойно сказали ... що повинно щось пояснити.

— Мехрдад

Це тому, що

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Габріель Ромон

39

Коли ми говоримо, що PCA є лінійним методом, ми посилаємось на зменшення відображення розмірності з просторового простору в простір нижнього розміру . У PCA це відображення задається множенням на матрицю власних векторів PCA і так явно лінійне (матричне множення лінійне): Це на відміну від нелінійних методів зменшення розмірності , де відображення зменшення розмірності може бути нелінійним. $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (х) = V^{⊤} х .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

З іншого боку, верхніх власних векторів $k$ обчислюються з матриці даних використовуючи те, що ви назвалиу своєму запитанні: іцевідображення, безумовно, нелінійне: воно включає обчислення власних векторів коваріаційної матриці, що є нелінійною процедурою. (Як тривіальний приклад, помноживши на $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = П С А (Х),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ збільшує матрицю коваріації на

, але її власні вектори залишаються такими ж, як вони нормалізуються, щоб мати одиницю довжини.)

4

$4$

— Амеба каже Відновити Моніку
джерело

Те, що я отримав 35 підказок за цю тривіальну відповідь, є досить смішним (і в основному через те, що ця тема на деякий час перебуває у питаннях гарячої мережі).

— амеба каже, що повернеться до Моніки

5

"Лінійний" може означати багато речей, і не використовується виключно формально.

PCA не часто визначається як функція у формальному сенсі, і тому не передбачається виконання вимог лінійної функції, коли описується як така. Він частіше описується, як ви сказали, як процедура, а іноді і алгоритм (хоча цей останній варіант мені не подобається). Часто говорять про лінійність неофіційним, не чітко визначеним способом.

PCA можна вважати лінійним, наприклад, у наступному сенсі. Він належить до сімейства методів, які вважають, що кожна змінна $X_i$

Х_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

Тепер для PCA, кожен $f_i$

f_{Y} (α) = \sum_{i = 1}^{к} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— broncoAbierto
джерело

3

PCA забезпечує / є лінійним перетворенням.

Якщо взяти карту , пов'язану з конкретним аналізом, скажімо , , то $\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

Винуватець у тому, що $PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Як порівняння - дуже простий приклад процесу, який використовує лінійне перетворення, але не є самим лінійним перетворенням:

Обертання $D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

і

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

але

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

це подвоєння кута, що включає обчислення кутів, не є лінійним і є аналогічним твердженню амеби, що обчислення власного вектора не є лінійним

— Секст Емпірік
джерело