Чи PCA супроводжується обертанням (наприклад, varimax), як і раніше PCA?

Я намагався відтворити деякі дослідження (за допомогою PCA) від SPSS в Р. На моєму досвіді, principal() функція з пакету psychбула єдиною функцією, яка наблизилася (або якщо моя пам'ять слугує мені правильно, мертвим), щоб відповідати результату. Щоб відповідати тим самим результатам, що і в SPSS, мені довелося використовувати параметр principal(..., rotate = "varimax"). Я бачив документи, що розповідають про те, як вони робили PCA, але, виходячи з результатів SPSS та використання обертання, це більше схоже на аналіз факторів.

Питання: Чи PCA навіть після обертання (використання varimax) все ще PCA? У мене було враження, що це може бути насправді факторний аналіз ... Якщо це не так, то які деталі я пропускаю?

Це питання багато в чому стосується визначень PCA / FA, тому думки можуть відрізнятися. Моя думка, що PCA + varimax не слід називати PCA чи FA, а досить чітко називатись, наприклад, "PCA з поворотом у варімаксі".

Додам, що це досить заплутана тема. У цій відповіді я хочу пояснити , що поворот на насправді є ; для цього знадобиться деяка математика. Випадковий читач може перейти безпосередньо до ілюстрації. Тільки тоді ми можемо обговорити, чи слід обертання PCA + слід називати "PCA".

Одне посилання на книгу Джолліффа «Аналіз основних компонентів», розділ 11.1 «Обертання основних компонентів», але я вважаю, що це може бути зрозумілішим.

---

Нехай - матриця даних яку, як ми вважаємо, зосереджена. PCA дорівнює ( див. Мою відповідь тут ) на розклад значення сингулярного значення: . На цю декомпозицію є два еквівалентні, але безкоштовні погляди: перегляд більш «проекції» в стилі PCA і більш «латентні змінні» в стилі FA. n × p X = U S V$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

Згідно з поданням у стилі PCA, ми знайшли купу ортогональних напрямків (це власні вектори матриці коваріації, які також називаються "основні напрямки" або "осі") та "головні компоненти" ( також називається головним компонентом "балів") - це прогнози даних по цих напрямках. Основні компоненти не пов'язані між собою, перший має максимально можливу дисперсію і т. Д. Ми можемо записати:U S X = U S ⋅ V ⊤ = Оцінки ⋅ Основні напрямки $\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

Згідно з поглядом у стилі FA, ми знайшли деякі некорельовані одиничні дисперсії "прихованих факторів", які спричиняють спостережувані змінні через "навантаження". Дійсно, є стандартизованими основними компонентами (некорельовані та з одиничною дисперсією), і якщо ми визначаємо навантаження як , тоді (Зверніть увагу, що .) Обидва погляди еквівалентні. Зауважимо, що навантаження - це власні вектори, масштабовані за відповідними власними значеннями ( є власними значеннями матриці коваріації).L=VS/$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$ X=$\mathbf L = \mathbf{VS}/\sqrt{n-1}$

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$$\mathbf{S}/\sqrt{n-1}$

(Я повинен додати в дужках, що PCA FA$\ne$ ; FA явно спрямований на пошук прихованих факторів, які лінійно відображаються до спостережуваних змінних за допомогою навантажень; він більш гнучкий, ніж PCA і дає різні навантаження. Ось чому я вважаю за краще називати вище "Перегляд у стилі FA на PCA", а не FA, хоча деякі люди вважають це одним із методів FA.)

Тепер, що робить обертання? Наприклад, ортогональне обертання, наприклад, варимакс. По-перше, він розглядає лише компоненти, тобто:Тоді він займає квадратний ортогональний матриця і підключає до цього розкладу: де поворотні навантаження задаються$k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ ˜ U r o t = ˜ U k T T L r o $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$, І обертали стандартизовані бали даються . (Мета цього - знайти таким, щоб став максимально наближеним до того, наскільки це можливо, для полегшення його інтерпретації.)$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$

Зауважте, що обертається: (1) стандартизовані бали, (2) завантаження. Але не сирі рахунки та не основні напрямки! Тож обертання відбувається в латентному просторі, а не в початковому просторі. Це абсолютно важливо.

З точки зору стилю FA, нічого особливого не відбулося. (A) Латентні фактори все ще є некорельованими та стандартизованими. (B) Вони все ще відображаються до спостережуваних змінних за допомогою (обертових) навантажень. (C) Кількість дисперсії, що охоплюється кожним компонентом / коефіцієнтом, визначається сумою квадратних значень відповідного стовпчика навантажень у . (D) Геометрично навантаження все ще охоплюють той самий -вимірний підпростір у (підпростір, що охоплюється першими власними векторами PCA). (E) Наближення до та помилка відновлення взагалі не змінилися. (F) Матриця коваріації все ще наближається однаково добре: k R p k$\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

Але точка зору в стилі PCA практично зруйнувалася. Поворотні навантаження більше не відповідають ортогональним напрямкам / осям у , тобто стовпці не є ортогональними! Гірше, якщо ви [ортогонально] запроектуєте дані на напрямки, задані поворотними навантаженнями, ви отримаєте співвіднесені (!) Прогнози і не зможете відновити бали. [Натомість для обчислення стандартизованих балів після обертання потрібно помножити матрицю даних на псевдоінверсію навантажень . Крім того, можна просто обертати оригінальні стандартизовані бали за допомогою матриці обертання:$\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$ ] Також обертові компоненти послідовно не фіксують максимальну кількість дисперсії: дисперсія перерозподіляється між компонентами (навіть хоча всі обертові компоненти охоплюють рівно стільки ж дисперсії, скільки всі вихідні головні компоненти).$k$$k$

Ось ілюстрація. Дані - це 2D еліпс, розтягнутий уздовж основної діагоналі. Перший головний напрямок - головна діагональ, другий - ортогональний. Вектори завантаження PCA (власні вектори, масштабовані власними значеннями) відображаються червоним кольором - вказують в обох напрямках, а також розтягуються постійним коефіцієнтом видимості. Потім я застосував до навантажень ортогональне обертання на . Отримані вектори навантаження показані пурпуровими. Зверніть увагу, як вони не є ортогональними (!).$30^\circ$

Тут інтуїція стилю FA полягає в наступному: уявіть собі «прихований простір», де точки заповнюють невелике коло (походять від 2D-гаусса з одиничними відхиленнями). Цей розподіл точок потім розтягується вздовж навантажень PCA (червоний), щоб стати еліпсом даних, який ми бачимо на цій фігурі. Однак однаковий розподіл точок можна повернути і потім розтягнути вздовж обертових навантажень PCA (пурпурового), щоб стати тими самими еліпсами даних .

[Щоб насправді побачити, що ортогональне обертання вантажів - це обертання , потрібно подивитися на біплот PCA; там вектори / промені, що відповідають оригінальним змінним, просто обертаються.]

---

Підведемо підсумки. Після ортогонального обертання (наприклад, варимакса) осі "обертаються-головні" не є ортогональними, і ортогональні проекції на них не мають сенсу. Тож варто скористатися цілою точкою осі / проекції точки зору. Було б дивно все ще називати його PCA (що стосується проекцій з максимальною дисперсією тощо).

З точки зору стилю FA, ми просто обертали наші (стандартизовані та некорельовані) латентні фактори, що є дійсною операцією. У ФА немає "прогнозів"; натомість приховані фактори породжують спостережувані змінні за допомогою навантажень. Ця логіка досі зберігається. Однак ми почали з основних компонентів, які насправді не є факторами (оскільки PCA не є тим же, що і FA). Тож було б дивно називати це і ФА.

Замість того, щоб обговорювати, чи варто «називати» PCA чи FA, я б запропонував бути ретельним у визначенні точної використовуваної процедури: «PCA з наступним обертанням varimax».

---

Postcriptum. Це є можливим розглянути альтернативну процедуру обертання, де вставляється між і . Це призведе до повороту неочищених балів та власних векторів (замість стандартизованих балів та навантажень). Найбільша проблема такого підходу полягає в тому, що після такого «обертання» бали більше не будуть співвідноситись, що є досить фатальним для PCA. Це можна зробити, але це не так, як ротації зазвичай розуміються та застосовуються.$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

Аналіз основних компонентів (PCA) та загальний факторний аналіз (CFA) - це різні методи. Часто вони дають подібні результати, і PCA використовується як метод вилучення за замовчуванням у процедурах аналізу факторів SPSS. Це, безперечно, призводить до великої плутанини щодо розрізнення між ними.

Суть полягає в тому, що це дві різні моделі, концептуально. У PCA компоненти - це фактичні ортогональні лінійні комбінації, які максимізують загальну дисперсію. У FA фактори є лінійними комбінаціями, які максимізують спільну частину дисперсії - основні "приховані конструкції". Ось чому ФА часто називають "загальним факторним аналізом". FA використовує різноманітні процедури оптимізації, і результат, на відміну від PCA, залежить від використовуваної процедури оптимізації та вихідних точок для цих процедур. Просто не існує жодного унікального рішення.

У R функція factanal () забезпечує CFA максимальну ймовірність вилучення. Отже, не слід сподіватися, що він відтворить результат SPSS, заснований на вилученні PCA. Це просто не та сама модель чи логіка. Я не впевнений, чи отримали б ви такий самий результат, якби ви використовували SPSS-максимум імовірності вилучення, оскільки вони не можуть використовувати той самий алгоритм.

На краще або на гірше в R, ви можете, однак, відтворити змішаний "факторний аналіз", який надає SPSS за замовчуванням. Ось процес у Р. За допомогою цього коду я можу відтворити результат основного компонента SPSS "Факторний аналіз" за допомогою цього набору даних. (За винятком знаку, який є невизначеним). Цей результат також може бути повернутий за допомогою будь-якого з доступних методів обертання Rs.

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

Ця відповідь полягає у тому, щоб у формі діаграми шляху представити речі, про які @amoeba міркував у своїй глибокій (але трохи складній) відповіді на цю тему (я начебто з цим погоджуюсь на 95%) і те, як вони мені здаються .

У власній мінімальній формі PCA - це специфічне ортогональне обертання корельованих даних до некорельованої форми, причому основні компоненти послідовно проскакують все менше і менше загальної мінливості. Якщо зменшення розмірності все, що ми хочемо, ми зазвичай не обчислюємо завантаження і те, що вони тягнуть за собою. Ми задоволені (сировина) основних показників компонентів . [Будь ласка, зауважте, що позначення на графіку точно не відповідають @ amoeba, - я дотримуюся того, що я приймаю в деяких своїх інших відповідях.]$\bf P$

На графіку я беру простий приклад двох змінних p=2і використовую обидва витягнуті основні компоненти. Хоча ми зазвичай зберігаємо лише кілька перших m<pкомпонентів, для теоретичного питання, яке ми розглядаємо ("Чи PCA з обертанням PCA чи що?"), Не має значення, якщо зберегти mабо всі pз них; принаймні в моїй конкретній відповіді.

Хитрість навантажень полягає в тому, щоб витягнути масштаб (величина, мінливість, інерція ) з компонентів (необроблені бали) і на коефіцієнти (власні вектори), залишивши колишній голий "каркас" (стандартизований пр . бали компонентів), а останні - м’ясисті (завантаження). Ви відновите дані однаково добре з обома: . Але завантаження відкриває перспективи: (i) інтерпретувати компоненти; (іі) повертати; (iii) відновити кореляції / коваріації змінних. Це все пов'язано з тим, що мінливість даних була записана в завантаженнях, як їх навантаження.$\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$

І вони можуть повернути це навантаження назад до точок даних будь-коли - зараз або після обертання . Якщо ми уявляємо ортогональне обертання, таке як varimax, це означає, що ми хочемо, щоб компоненти не залишалися некорельованими після завершення обертання. Лише дані зі сферичною коваріаційною матрицею при обертанні ортогонально зберігають некорельованість. І вуаля, стандартизовані основні компоненти (які в машинному навчанні часто називають " PCA даними") - це магічні дані ( насправді пропорційні лівій, тобто рядкові власні вектори даних). Поки ми шукаємо матрицю обертання varimax$\bf P_z$$\bf P_z$$\bf Q$щоб полегшити інтерпретацію навантажень, точки даних пасивно очікують у своїй цнотливій сферичності та тотожності (або «білині»).

Після того, як буде знайдено, обертання ним еквівалентно звичайному способу обчислення стандартизованих балів основного компонента через узагальнену обернену матрицю завантаження, - на цей раз, обертових навантажень (див. Графік ). В результаті головні компоненти, , є некорельованими, як ми цього хотіли, плюс дані відновлюються ними так само добре, як і до обертання: . Потім ми можемо їх повернути їх масштаб обложений (і , відповідно , повернений) в - до unstandardize їх: .$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

Ми повинні знати, що "головні компоненти, що обертаються варімаксом", вже не є основними компонентами: я використовував позначення Cz, C замість Pz, P, щоб підкреслити це. Вони просто "компоненти". Основні компоненти унікальні, але компонентів може бути багато. Крім Varimax Повороти дасть інші нові змінні також звані компоненти , а також некоррелірованних, крім наших тих.$\bf C$

Також слід сказати, що основні компоненти, що повертаються на варімакс (або іншим чином ортогонально обертаються), (тепер просто "компоненти"), хоча залишаються некорельованими, ортогональними, не означають, що їх навантаження також все ще є ортогональними. Стовпці взаємно ортогональні (як і власні вектори ), але не стовпці (див. Також виноску тут ).$\bf A$$\bf V$$\bf A_r$

І нарешті - обертання основних сирих компонентів з нашими не корисними діями. Ми отримаємо кілька корельованих змінних з проблемним значенням. здавалося, оптимізував (певним чином) конфігурацію навантажень, які поглинули всю шкалу в них . ніколи не навчався обертати точки даних з усією шкалою, що залишилася на них. Обертовий з буде еквівалентним обертовим власним векторам з (в$\bf P$$\bf Q$$\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$), а потім обчислюють неочищені компоненти, як . Ці "стежки" зазначив @amoeba у своєму Postscriptum.$\bf "C"=XV_r$

Ці, нарешті, окреслені дії (здебільшого безглузді) нагадують нам, що власне вектори, не лише навантаження, взагалі можуть обертатися. Наприклад, процедура varimax може бути застосована до них для спрощення їх структури. Але оскільки власні вектори не так корисні для інтерпретації значення компонентів, як завантаження, обертання власних векторів робиться рідко.

Отже, PCA з подальшим варімакс (або іншим) обертанням є

• ще PCA
• який на шляху відмовився від основних компонентів лише для компонентів
• яких потенційно більше (ніж ПК) можна інтерпретувати як "приховані риси"
• але не були модельовані сатистично як такі (PCA не є справедливим факторним аналізом)

У цій відповіді я не посилався на факторний аналіз. Мені здається, що використання @ amoeba слова "латентний простір" є дещо ризикованим у контексті заданого питання. Однак я погоджуюся з тим, що аналітичне обертання PCA + можна назвати " переглядом у стилі FA на PCA".

У psych::principal()ви можете робити різні типи поворотів / перетворень в ваш витягнутий основний компонент (ів) або «» ПКА «» , використовуючи rotate=аргумент, як: "none", "varimax"( по замовчуванню), "quatimax", "promax", "oblimin", "simplimax", і "cluster". Ви повинні емпірично вирішити, який з них повинен мати сенс у вашому випадку, якщо це необхідно, залежно від вашої власної оцінки та знання предмета, що досліджується. Ключове запитання, яке може дати вам підказку: яке з них можна більш інтерпретувати (якщо знову потрібно)?

У довідці ви можете знайти також таке:

Важливо визнати, що обертові головні компоненти не є головними компонентами (осі, пов'язані з розкладанням власного значення), а є лише компонентами. Для цього слід зазначити, що невраховані головні компоненти позначаються як PCi, тоді як обернені ПК тепер позначені як RCi (для обертових компонентів), а косо перетворені компоненти як TCi (для перетворених компонентів). (Дякую Ульріке Громінг за цю пропозицію.)

Я розумію, що відмінність PCA від Factor аналізу полягає в тому, чи існує термін помилки. Таким чином, PCA може і буде вірно представляти дані, тоді як факторний аналіз менш вірний даних, на яких він навчається, але намагається представити основні тенденції або спільність даних. При стандартному підході PCA не обертається, але це можливо зробити математично, тому люди час від часу роблять це. Я погоджуюся з коментаторами в тому, що "сенс" цих методів дещо розроблений і схожий на те, що, ймовірно, розумно бути впевненим, що функція, яку ви використовуєте, виконує те, що ви хочете - наприклад, як ви зазначаєте, R має деякі функції, які виконують PCA відрізняється від тих, з якими знайомі користувачі SPSS.

Завдяки хаосу у визначеннях обох вони фактично є синонімами. Не вірте словам і загляньте глибоко в доки, щоб знайти рівняння.

Хоча на це питання вже прийнята відповідь, я хотів би додати щось до питання.

"PCA" - якщо я правильно пам'ятаю - означає "аналіз основних компонентів"; доки ви аналізуєте основні компоненти, може, без обертання чи з обертанням, ми все ще знаходимось в аналізі "основних компонентів" (які були знайдені відповідною початковою матрицею-розкладанням).

Я б сформулював, що після "varimax" -ротації на перших двох основних компонентах, ми маємо "varimax-рішення двох перших ПК" (або щось інше), але все ще перебуваємо в рамках аналізу основних компонентів, або коротше, знаходяться в рамках "pca".

Щоб зробити мою думку ще яснішою: я не відчуваю, що просте питання обертання вводить проблему розмежування між EFA та CFA (останній згаданий / введений в проблему, наприклад, у відповіді Бретта)

Я вважаю, що це є найбільш корисним: Abdi & Williams, 2010, Аналіз основних компонентів .

РОТАЦІЯ

Після визначення кількості компонентів і для полегшення інтерпретації аналіз часто включає обертання компонентів, які були збережені [див., Наприклад, Реф. 40 та 67, для більш детальної інформації]. Використовуються два основні типи обертання: ортогональні, коли нові осі також ортогональні одна до одної, і косі, коли нові осі не повинні бути ортогональними. Оскільки обертання завжди виконуються в підпросторі, нові осі завжди будуть пояснювати меншу інерцію, ніж вихідні компоненти (які обчислюються як оптимальні). Однак частина інерції, що пояснюється загальним підпростором після обертання, така ж, як і до обертання (змінився лише розділ інерції). Важливо також зазначити, що оскільки обертання завжди відбувається в підпросторі (тобто простір утримуваних компонентів), вибір цього підпростору сильно впливає на результат обертання. Тому настійно рекомендується спробувати кілька розмірів для підпростори утримуваних компонентів, щоб оцінити надійність інтерпретації обертання. Виконуючи обертання, термін навантаження майже завжди посилається на елементи матриці Q.

(див. документ для визначення Q).