Як "Основна теорія факторного аналізу" застосовується до PCA, або як визначаються навантаження PCA?

Зараз я переживаю слайд, який я маю для "факторного аналізу" (PCA, наскільки я можу сказати).

У ній виведена "фундаментальна теорема факторного аналізу", яка стверджує, що матрицю кореляції даних, що надходять в аналіз ( ), можна відновити за допомогою матриці факторних навантажень ( ): $\bf R$ $\bf A$

R = A A^{⊤}

$\bf R = AA^\top$

Це, однак, мене бентежить. У PCA матриця "факторних навантажень" задається матрицею власних векторів матриці коваріації / кореляції даних (оскільки ми припускаємо, що дані були стандартизовані, вони однакові), при цьому кожен власний вектор масштабується мати довжина одна. Ця матриця є ортогональною, при цьому , який в загальному випадку НЕ дорівнює . $\bf AA^\top = I$ $\bf R$

— user2249626
джерело

Окрім відповіді @ amoeba , подивіться у моїй відповіді, де додається термінологічна неоднозначність. Я не рекомендую викликати матрицю власних векторів A(які є навантаженнями) з ясності. Матриця власного вектора (у правій частині) зазвичай позначена міткою V(тому що R=USV'по svd), а не A. Інша еквівалентна назва (походить від термінології біплот) для власних векторів - «стандартні координати», а для навантажень - «головні координати».

— ttnphns

("стандартні координати" - тому що інерція або масштаб власних значень є одиничною величиною при надаванні їх; "головні координати" - тому що це оригінальна повна величина при надаванні їх.)

— ttnphns

Це розумне запитання (+1), яке випливає з термінологічної неоднозначності та розгубленості.

У контексті PCA люди часто називають основні осі (власні вектори матриці коваріації / кореляції) "навантаженнями". Це неохайна термінологія. Те, що слід називати "завантаженнями" в PCA, - це головні осі, масштабовані квадратними коренями відповідних власних значень. Тоді теорема, яку ви посилаєтесь, буде дотримана.

Дійсно, якщо власне-розкладання кореляційної матриці є

R = V S V^{⊤}

$\mathbf R = \mathbf V \mathbf S \mathbf V^\top$ де

V

$\mathbf V$ є власними векторами (головними осями) та

S

$\mathbf S$ є діагональною матрицею власних значень, і якщо ми визначимо навантаження як

А = V S^{1 / 2},

$\mathbf A = \mathbf V \mathbf S^{1/2},$ тоді це можна легко побачити

R = А А^{⊤} .

$\mathbf R = \mathbf A \mathbf A^\top.$ Більше того, найкращий рейтинг-

r

$r$ наближення до матриці кореляції задається першим

r

$r$ Навантаження PCA:

R \approx А_{r} А_{r}^{⊤} .

$\mathbf R \approx \mathbf A_r \mathbf A_r^\top.$

Будь ласка, дивіться мою відповідь тут, щоб отримати докладнішу інформацію про реконструкцію коваріаційних матриць за допомогою факторного аналізу та навантаження PCA.

— Амеба каже Відновити Моніку
джерело