Яка інтуїтивно зрозуміла причина обертання у Факторному аналізі / PCA та як вибрати відповідне обертання?

Мої запитання

1. Яка інтуїтивно зрозуміла причина обертання факторів у факторному аналізі (або компонентів у PCA)?

   Моє розуміння: якщо змінні майже однаково завантажені у верхніх компонентах (або факторах), то, очевидно, складно диференціювати компоненти. Тож у цьому випадку можна використовувати обертання для кращої диференціації компонентів. Це правильно?

2. Які наслідки ротації? На які речі це впливає?

3. Як вибрати відповідне обертання? Існують ортогональні обертання та косі обертання. Як вибрати між ними та які наслідки цього вибору?

Будь ласка, поясніть інтуїтивно з найменшими математичними рівняннями. Мало хто з поширених відповідей був важким для математики, але я більше шукаю інтуїтивно зрозумілих причин і правил.

1. Причина обертання . Ротації проводяться задля інтерпретації вилучених факторів у факторному аналізі (або компонентів у PCA, якщо ви ризикуєте використовувати PCA як факторну аналітичну методику). Ви маєте рацію, коли описуєте своє розуміння. Обертання здійснюється в ході деякої структури навантажувальної матриці, яку можна назвати простою структурою . Це коли різні фактори, як правило, завантажують різні змінні 1$^1$. [Я вважаю, що правильніше сказати, що "фактор завантажує змінну", ніж "змінна завантажує фактор", тому що саме коефіцієнт є "в" або "позаду" змінних, щоб зробити їх співвіднесеними, але ви можете сказати як вам подобається.] У певному сенсі типова проста структура - це те, де з’являються «кластери» корельованих змінних. Потім ви інтерпретуєте фактор як значення, яке лежить на перетині значення змінних, які достатньо завантажені фактором; таким чином, щоб отримати інше значення, фактори повинні завантажувати змінні по-різному. Основне правило полягає в тому, що фактор повинен гідно завантажувати щонайменше 3 змінні.

2. Наслідки . Обертання не змінює положення змінних відносно один одного в просторі факторів, тобто зберігаються кореляції між змінними. Що змінилося координата векторів змінної кінцевих точок на вісь фактора - навантаження (пошукайте цей сайт для "завантаження ділянки" і "biplot", для більш) 2 . Після ортогонального обертання навантажувальної матриці різниці коефіцієнтів змінюються, але фактори залишаються некорельованими, а змінні спільності зберігаються.$^2$

   У косому обертанні факторам дозволяється втрачати свою неспорідненість, якщо це створить більш чітку "просту структуру". Однак інтерпретація корельованих факторів є більш складним мистецтвом, оскільки ви повинні отримати значення з одного чинника, щоб воно не забруднило значення іншого, з яким воно співвідноситься. Це означає, що ви повинні інтерпретувати фактори, скажімо, паралельно, а не по черзі. Косі листя обертання ви з двома матрицями навантажень замість одного: шаблон матриці $\bf P$ і структура матриці $\bf S$ . ( $\bf S=PC$ , де $\bf C$ - матриця співвідношень факторів; $\bf C=Q'Q$, де $\bf Q$ - матриця косого обертання: $\bf S=AQ$ , де $\bf A$ була матрицею завантаження до будь-якого обертання.) Матриця візерунка - це матриця регресійних ваг, за допомогою яких фактори прогнозують змінні, тоді як структурна матриця - кореляції (або коваріації) між факторами та змінними. Більшу частину часу ми інтерпретуємо фактори за навантаженням зразків, оскільки ці коефіцієнти являють собою унікальну індивідуальну інвестицію фактора у змінну. Косий поворот зберігає змінні спільноти, але спільноти вже не дорівнюють рядовим сумам квадратів в $\bf P$ або в $\bf S$. Більше того, оскільки фактори співвідносяться, їх відхилення частково накладаються на 3 .$^3$

   $^4$

3. Вибір . Існує багато форм ортогональних і косих обертів. Чому? По-перше, тому що поняття "проста структура" не є однозначним і може бути сформульовано дещо інакше. Наприклад, варімакс - найпопулярніший ортогональний метод - намагається максимізувати розбіжність серед квадратних значень навантажень кожного фактора; іноді застосовуваний ортогональний метод квартімакс мінімізує кількість факторів, необхідних для пояснення змінної, і часто виробляє так званий "загальний фактор". По-друге, різні обертання спрямовані на різні побічні цілі, крім простої структури. Я не буду вникати в деталі цих складних тем, але ви, можливо, захочете прочитати про них самі.

   $^5$(хоча кожен з них має свої схильності) дозволяють, але не змушують факторів співвідноситися, і, таким чином, є менш обмежуючими. Якщо косо обертання показує, що фактори лише слабо корелюються, ви можете бути впевнені, що "насправді" це так, і тоді ви можете з доброю совістю звернутися до ортогонального обертання. Якщо фактори, з іншого боку, дуже співвідносяться, це виглядає неприродно (для концептуально виразних прихованих рис, особливо якщо ви розробляєте інвентар у психології чи подібних, - пам’ятайте, що сам фактор є універсальною ознакою, а не партією явища), і ви, можливо, захочете отримати менше факторів, або скористатися косими результатами як джерелом партії для вилучення так званих факторів другого порядку.

$^1$

Це для суто дослідницької ФА, тоді як якщо ви робите та переробляєте ФА для розробки анкети, ви, зрештою, захочете відкинути всі бали, крім синього, за умови, що у вас є лише два фактори. Якщо факторів більше двох, вам потрібно, щоб червоні точки стали синіми для деяких ділянок завантаження інших факторів.

$^2$

$^3$$\bf S$$\bf S$, перевищує загальну комунальну поясненість, СС в $\bf A$. Якщо ви хочете рахувати після фактора i лише унікальну "чисту" частину його дисперсії, помножте дисперсію на$1-R_i^2$залежності фактору від інших факторів, величини, відомої як анти-зображення . Це зворотна сторона i-го діагонального елемента$\bf C^{-1}$. Сума "чистих" частин відхилень буде меншою, ніж загальна спільність.

$^4$Ви не можете сказати, що "1-й фактор / компонент змінився при обертанні тим чи іншим способом", тому що 1-й фактор / компонент в обертаній матриці завантаження є іншим фактором / компонентом, ніж 1-ий у невратованій матриці завантаження. Той самий порядковий номер ("1-й") вводить в оману.

$^5$Два найбільш важливих косі методи PROMAX і oblimin . Promax - це похиле розширення varimax: структура на основі варімакса потім втрачається, щоб більшою мірою відповідати "простої структури". Його часто використовують у підтверджуючих ФА. Oblimin дуже гнучка завдяки своїй параметрі гамма, яка при встановленні 0 доводить до усунення методу квартіміна, даючи більшість косих рішень. Гамма 1 дає найменш косі рішення - коваримін, що є ще одним косою методом, заснованим на варімаксе, альтернативою промаксу. Всі косі методи можуть бути прямими (= первинні) та непрямими (= вторинні) версії - див. Літературу. Всі обертання, як ортогональні, так і косі, можна здійснити за допомогою кайзерської нормалізації(як правило) або без нього. Нормалізація робить усі змінні однаково важливими при повороті.

Деякі теми для подальшого читання:

Чи може бути причина взагалі не обертатись чинниками?

Яку матрицю інтерпретувати після косого обертання - візерунок або структуру?

Що означають назви методів обертання факторів (варимакс тощо)?

Чи PCA з компонентами, що обертаються, все ще PCA або це факторний аналіз?