Яка норма помилки реконструкції мінімізована матрицею наближення низького рангу, отриманою за допомогою PCA?

З огляду на наближення PCA (або SVD) з матриці $X$ з матрицею , ми знаємо , що є найкращим нізкоразрядним наближенням . $\hat X$ $\hat X$ $X$

Це відповідно до індукованої норми $\parallel \cdot \parallel_2$ (тобто найбільшої норми власного значення) або відповідно до норми Frobenius $\parallel \cdot \parallel_F$ ?

pca svd matrix-decomposition

— Донбео
джерело

Відповідь на одне слово: Обидва.

Почнемо з визначення норм. Для матриці $X$ оператор $2$ -норм визначається як і норма Фробеніуса як

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

де

є сингулярними значеннями

, тобто діагональними елементами

у розкладі сингулярного значення

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA задається тим самим розкладанням сингулярного значення, коли дані центрируються. - основні компоненти, - основні осі, тобто власні вектори матриці коваріації, а реконструкція лише з основними компонентами, що відповідають найбільшим значенням сингулярності, задається . $US$ $V$ $X$ $k$ $k$ $X_k = U_k S_k V_k^\top$

Еккарт-Young теорема стверджує , що є матрицею мінімізації норми похибки реконструкції серед всіх матриць ранг . Це справедливо як для норми Frobenius, так і для оператора -norm. Як вказував @cardinal у коментарях, його вперше було доведено Шмідтом (про славу Грам-Шмідту) у 1907 р. Для справи Фробеніус. Пізніше її знову відкрили Екарт і Янг у 1936 році і тепер здебільшого асоціюється з їхніми іменами. Мірський узагальнив теорему в 1958 р. На всі норми, інваріантні під унітарними перетвореннями, і сюди входить оператор 2-норма. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Цю теорему іноді називають теоремою Екарта-Юнга-Мірського. Стюарт (1993) називає це теоремою наближення Шмідта. Я навіть бачив це під назвою теорема Шмідта-Екарта-Янга-Мірського.

Екарт і Янг, 1936, Наближення однієї матриці до іншої нижчого рангу
Мирський, 1958, Симетричні калібрувальні функції та невідмінно інваріантні норми
Стюарт, 1993, Про ранню історію розкладання сингулярного значення

Доказ для оператора $2$ -норм

Нехай має повний ранг . Оскільки є рангом , його нульовий простір має розмірів. Простір, що охоплюється правильними сингулярними векторами відповідають найбільшим сингулярним значенням, має розміри. Тож ці два простори повинні перетинатися. Нехай - одиничний вектор від перетину. Тоді отримуємо: $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$ QED.

Доказ норми Фробеніуса

Ми хочемо , щоб знайти матрицю рангу , що зводить до мінімуму . Можна факторизувати , де має ортонормальних стовпців. Мінімізація при фіксованому є регресійної проблемою з розчином . Підключивши його, ми бачимо, що тепер нам потрібно мінімізувати $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$ де - матриця коваріації , тобто . Це означає, що похибка реконструкції зводиться до мінімуму, беручи за стовпці деякі ортонормальних векторів, максимізуючи загальну дисперсію проекції.

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$

W

$W$

k

$k$

Загальновідомо, що це перші власні вектори матриці коваріації. Дійсно, якщо , то . Записуючи який також має ортонормальні стовпці, отримуємо $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{i} λ_{i} \sum_{j} R_{i j}^{2} \leq \sum_{i = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Дивіться наступні три пов’язані теми:

Рання спроба доведення норми Фробеніуса

Цей доказ я знайшов десь в Інтернеті, але він неправильний (містить пробіл), як пояснив @cardinal у коментарях.

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$ This is minimized when all off-diagonal elements of

B

$B$ are zero and all

k

$k$ diagonal terms cancel out the

k

$k$ largest singular values

s_{i}

$s_i$ [gap here: this is not obvious], i.e.

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$ and hence

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$ .

— amoeba says Reinstate Monica
джерело

The proof in the case of the Frobeniius norm is not correct (or at least complete) since the argument here does not preclude the possibility that a matrix of the same rank could cancel out some of the other diagonal terms while having "small" off-diagonals. To see the gap more clearly note that holding the diagonals constant and "zeroing" the off-diagonals can often increase the rank of the matrix in question!

— cardinal

Note also that the SVD was known to Beltrami (at least in a quite general, though special case) and Jordan as early as 1874.

— cardinal

@cardinal: Hmmmm, I am not sure I see the gap. If

B

$B$ cancels out some other diagonal terms in

S

$S$ instead of

k

$k$ largest ones and has some nonzero off-diagonal terms instead, then both sums,

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$ and

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$ , are going to increase. So it will only increase the reconstruction error. No? Still, I tried to find another proof for Frobenius norm in the literature, and have read that it should somehow follow easily from the operator norm case. But so far I don't see how it should follow...

— amoeba says Reinstate Monica

I do like G. W. Stewart (1993), On the early history of the singular value decomposition, SIAM Review, vol. 35, no. 4, 551-566 and, given your prior demonstrated interest in historical matters, I think you will too. Unfortunately, I think Stewart is unintentionally overly dismissive of the elegance of Schmidt's 1907 proof. Hidden within it is a regression interpretation that Stewart overlooks and which is really quite pretty. There is another proof that follows the initial diagonalization approach you take, but which requires some extra work to fill the gap. (cont.)

— cardinal

@cardinal: Yes, you are right, now I see the gap too. Thanks a lot for the Stewart paper, that was a very interesting read. I see that Stewart presents Schmidt's and Weyl's proofs, but both of them look more complicated than what I would like to copy here (and so far I have not had the time to study them carefully). I am surprised: I expected this to be a very simple result, but it seems it is less trivial than I thought. In particular, I would not have expected that the Frobenius case is so much more complicated than the operator norm one. I will edit the post now. Happy New Year!

— amoeba says Reinstate Monica

Яка норма помилки реконструкції мінімізована матрицею наближення низького рангу, отриманою за допомогою PCA?

Відповідь на одне слово: Обидва.

Доказ для оператора 222 -норм

Доказ норми Фробеніуса

Рання спроба доведення норми Фробеніуса

Доказ для оператора $2$ -норм