Чи все ж PCA проводиться за допомогою ейгендекомпозиції матриці коваріації, коли розмірність більша за кількість спостережень?

У мене є матриця , що містить мій зразків у -вимірному просторі. Тепер я хочу зашифрувати власний аналіз основних компонентів (PCA) в Matlab. Я спочатку применшую до . $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Я читав з чийогось коду, що в таких сценаріях, де у нас більше вимірів, ніж спостережень, ми більше не розкладаємо власне матрицю коваріації . Замість цього ми Ейген-розкладатися . Чому це правильно? $X_0$ $\frac{1}{N-1}X_0X_0^T$

Нормальна матриця коваріації має розмір , кожен елемент якої повідомляє нам про коваріацію між двома вимірами. Для мене навіть не має правильних розмірів! Це матриця , і що б вона нам сказала? Коваріація між двома спостереженнями ?! $D\times D$ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Сіббс Азартні ігри
джерело

Відповідь на ваше запитання полягає в тому, що - як випливає з постановки завдання - вам не потрібна матриця коваріації стовпців для себе. Ви хотіли це лише як шлях до отримання ПК. Правильно? Але ті ж самі результати РСА можуть бути отримані з допомогою Ейгеном з X'Xі XX'(а також СВД від Xі X'). Те, що в одному випадку називається "завантаженням", в іншому називатиметься "балами ПК", і навпаки. Оскільки обидві - це лише координати ( див., Наприклад, ) і осі, "головні розміри" однакові.

— ttnphns

(продовження.) Якщо так, і ви вільні вибирати, що розкласти - розумно розкласти те, що робити швидше / ефективніше. Коли n<pпотрібно менше оперативної пам’яті та менше часу для її розкладання, XX'оскільки вона менших розмірів.

— ttnphns

@ttnphns Відмінне пояснення. Я бачу сенс зараз. Однак у мене все ще виникають проблеми, переходячи від власного XX'ПК до ПК. Не могли б ви мені коротко показати, як? З огляду на те, що ПК - це лише власні вектори матриці коваріації, я спробував перейти від власного елемента XX'до власного матриці коваріації X'X, але не вдався.

— Сіббс азартні ігри

Я повинен іти. Можливо, @amoeba (який набагато спритніший в алгебрі, ніж я), або інший читач незабаром загляне сюди і допоможе тобі. Ура.

— ttnphns

@ttnphns: Готово :)

— амеба

Матриця коваріації має розмір і задається $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

Матриця, про яку ви говорите, звичайно, не є матрицею коваріації; вона називається матрицею Грама і має розмір: $N\times N$

G = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

Аналіз основних компонентів (PCA) можна здійснити за допомогою ейдженкомпозиції будь-якої з цих матриць. Це лише два різні способи обчислити одне і те ж.

Найпростіший і найкорисніший спосіб бачити це - використання розкладання сингулярного значення матриці даних . Підключивши це до виразів для та , отримаємо: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ G & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Власні вектори матриці коваріації є основними напрямками. Прогнози даних про ці власні вектори є головними компонентами; ці прогнози задаються . Основні компоненти масштабируются на одиницю довжини задаються . Як бачите, власні вектори матриці Грама - це саме ці масштабовані головні компоненти. І власні значення і збігаються. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

Причина, чому ви можете побачити, рекомендується використовувати матрицю Грама, якщо , тому що вона буде меншим розміром, порівняно з коваріаційною матрицею, а значить, буде швидше обчислити і швидше вирівняти її. Насправді, якщо ваша розмірність занадто велика, ви не можете навіть зберігати коваріаційну матрицю в пам'яті, тому операція на матриці Грама - єдиний спосіб зробити PCA. Але для керованого ви все ще можете використовувати eigendecomposition матриці коваріації, якщо ви хочете, навіть якщо . $N<D$ $D$ $D$ $N<D$

Дивіться також: Зв'язок між власними векторами та в контексті PCA $\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— амеби
джерело

Чудова відповідь! Я не знав, що це ім'я! Дуже дякую! Зараз я впевнено використовую його для прискорення моїх обчислень.

— Сіббс азартні ігри

Моя відповідь передбачає, що те, що ви хочете отримати, - це , а можливо, також . Якщо ви хочете отримати , то ви можете вирахувати його з допомогою після ви отримали . Насправді, якщо ваша розмірність занадто велика, ви не можете навіть зберегти коваріаційну матрицю в пам'яті, тому операція на матриці Грама - єдиний спосіб зробити PCA.

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

— амеба

Ця відповідь ясніша, що багато експозицій я бачив у книгах. Дякую.

— usεr11852

Для чисто довідкових цілей: я вважаю, що документ про технікометрію 1969 р. IJ Good " Деякі програми сингулярного розкладання матриці " є одним із перших, хто вперше повністю посилається на це.

— usεr11852

@MattWenham точно.

— амеба