Чому результати головної складової не співвідносяться?

Supose - це матриця середньосередніх даних. Матриця дорівнює , має чітких власних значень та власних векторів , ... , які є ортогональними. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

-м головний компонент (деякі люди називають їх «десятки») є вектор . Іншими словами, це лінійна комбінація стовпців , де коефіцієнти є складовими частинами -м власним вектором . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Я не розумію, чому та виявляються некорельованими для всіх . Це випливає з того, що та є ортогональними? Напевно, ні, тому що я легко можу знайти матрицю і пару ортогональних векторів такі, що і співвідносяться. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ернест А
джерело

Відповідна відповідь stats.stackexchange.com/a/110546/3277 .

— ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— амеби
джерело

Математика: яка гарна мова.

— Нестор

Це означає, що та є ортогональними. Неспіввідношення означає, що це має бути правдою: . Я припускаю, що якось , а потім також означає, що вони некорельовані.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ернест А

Хороший момент, @Ernest. Засоби дійсно дорівнюють нулю, оскільки дані орієнтовані на середнє значення (за вашим припущенням). Тоді всі прогнози повинні мати середній нуль.

— амеба

@Jubbles тому, що , тому .

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ернест А

@Ernest, я не міг утриматися від надання відповіді, що не містить тексту, але, мабуть, слід додати, що основна причина, через яку ПК не пов'язані між собою, полягає в тому, що їх матриця коваріації задається в основі власних векторів, і в цій основі стає діагональною - - у цьому вся суть ейгендекомпозиції.

S

$S$

S

$S$

— амеба