Які максимізують перші чинники факторного аналізу?

При аналізі основних компонентів першими основними компонентами є ортогональні напрямки з максимальною дисперсією. Іншими словами, перший головний компонент вибирається як напрямок максимальної дисперсії, другий головний компонент вибирається як напрямок, ортогональний до першого з максимальною дисперсією тощо. $k$ $k$

Чи існує аналогічне тлумачення факторного аналізу? Наприклад, я думаю, що перші фактори - це фактори, які найкраще пояснюють недіагональні компоненти вихідної кореляційної матриці (у сенсі, скажімо, похибки квадрата між вихідною кореляційною матрицею та кореляційною матрицею, визначеними чинники). Це правда (чи є щось подібне, що ми можемо сказати)? $k$

pca factor-analysis

— рагетін
джерело

Хоча я згоден майже з усім, що @NRH написав у своїй відповіді (+1), коротка відповідь на ваше останнє запитання полягає в тому, що так, це абсолютно правда . Зауважте, що в FA факторах також можна вибрати ортогональні, як у PCA. Різниця полягає лише у відтворенні всієї кореляційної матриці (PCA) проти відтворення лише її позадіагональної частини (FA). Для більш детально див моїх відповідей в умовах подібності PCA і факторного аналіз і є хороша причина , щоб використовувати PCA замість О?

— амеба каже, що повернеться до Моніки

Я не впевнений, чи дійсно ФА «мінімізує (сума суми) квадратних часткових коваріацій», тому що існує критерій повороту / вилучення під назвою «MinRes», обґрунтування якого саме таке. Тоді навіщо давати йому відмінну назву? Можливо, стандартні підпрограми пошуку математичного рішення FA отримують ідентичні результати, якщо кількість k факторів відтворює ковариантності ідеально - але оскільки k є оцінкою, можливо, що у випадку недосконалості / недооцінки рішення FA не є ідентичний рішенню MinRes. Ну, я кажу: може бути - я хотів би побачити чітке твердження.

— Готфрід Гельмс

Відповіді:

PCA - це перш за все техніка скорочення даних, де мета полягає в тому, щоб отримати проекцію даних на простір з меншими розмірами. Дві еквівалентні цілі - або ітеративно максимізувати дисперсію, або мінімізувати помилку відновлення. Це насправді детально розроблено у відповідях на це попереднє запитання .

Навпаки, факторний аналіз - це насамперед генеративна модель -вимірного вектора даних говорить про те, що де - розмірний вектор прихованих факторів, є з і є a вектор непов'язаних помилок. Матриця є матрицею факторних навантажень . Це дає особливу параметризацію матриці коваріації як $p$ $X$

Х = А S + ϵ

$X = AS + \epsilon$

S

$S$

q

$q$

A

$A$

p \times k

$p \times k$

k < p

$k < p$

ϵ

$\epsilon$

A

$A$

Σ = А А^{Т} + D

$\Sigma = AA^T + D$ Проблема цієї моделі полягає в тому, що вона завищена. Ж модель виходить , якщо замінюється

для будь-якого

ортогональної матриці

, що означає , що самі коефіцієнти не є чимось унікальним. Існують різні пропозиції щодо вирішення цієї проблеми, але не існує єдиного рішення, яке надасть вам чинників із видом інтерпретації, яку ви вимагаєте. Один з популярних виборів - обертання varimax . Однак використовуваний критерій визначає лише обертання. Простір стовпців, що охоплюється

, не змінюється, і оскільки це частина параметризації, він визначається будь-яким методом, що використовується для оцінки

A

$A$

A R

$AR$

k \times k

$k \times k$

R

$R$

A

$A$

Σ

$\Sigma$ - за максимальною вірогідністю в гауссовій моделі, скажімо.

Отже, щоб відповісти на запитання, вибрані фактори не задаються автоматично за допомогою моделі аналізу факторів, тому не існує єдиної інтерпретації перших факторів. Ви повинні вказати метод, який використовується для оцінки (простір стовпців) та метод, який використовується для вибору обертання. Якщо (всі помилки мають однакову дисперсію), рішення MLE для стовпчика простору - це простір, що охоплюється провідними основними компонентами векторів, які можуть бути знайдені сингулярним розкладанням значення. Звичайно, можна вибрати не обертати та повідомляти про ці основні компоненти векторів як про фактори. $k$ $A$ $D = \sigma^2 I$ $A$ $q$

$k$ $k$ $k$

— NRH
джерело

Так, я розумію, що не існує унікального вибору k факторів (оскільки ми можемо їх повернути і отримати ту ж модель). Але чи робить вибір k факторів, вибраних методом факторного аналізу, якесь "максимальне пояснення кореляції"?

— raegtin

@raegtin, я відредагував відповідь, щоб пояснити свою точку зору, що це модель матриці коваріації. Як я бачу, будь-який вибір факторів, отриманих обертаннями, є однаково добрим чи поганим для пояснення коваріацій у даних, оскільки вони виробляють ту саму матрицю коваріації.

— NRH

Дякую за оновлення, це чудове пояснення ФА! Отже, коли ви говорите "мета з моделлю - найкраще пояснити коваріацію", ви маєте на увазі, що k фактори дійсно максимізують кількість поясненої коваріації?

— raegtin

@raegtin, так, я розглядаю модель як модель коваріаційної матриці, і коли ви оцінюєте модель, справедливо можна сказати, що ви максимізуєте кількість поясненої коваріації.

— NRH

@raegtin та NRH (+1 btw): Просто для уточнення. Вище два коментарі є правильними, якщо під «коваріацією» ми розуміємо «позадіагональну частину матриці коваріації».

— Амеба каже, що повернеться до Моніки

@RAEGTIN, я вважаю, що ти думаєш правильно. Після вилучення та попереднього обертання кожен наступний фактор враховує все менше і менше коваріації / кореляції, як і кожен наступний компонент припадає на меншу і меншу кількість дисперсії: в обох випадках стовпці завантажувальної матриці A йдуть у порядку падіння сума в них квадратних елементів (навантажень). Навантаження - коефіцієнт кореляції bw і змінної; тому можна сказати, що 1-й фактор пояснює найбільшу частку "загального" квадрата r в матриці R , 2-й множник тут другий і т. д. Різниця між FA і PCA, однак, при прогнозуванні кореляцій за навантаженнями така: FA "відкалібровано" для відновлення Rдосить тонко з лише m витягнутих факторів (m факторів <p змінних), в той час як PCA грубо відновляє його m компонентами, - йому потрібні всі p компоненти, щоб відновити R без помилок.

PS Просто додати. У FA значення завантаження "складається" з чистої спільності (частина дисперсії, відповідальної за співвідношення), тоді як у PCA завантаження являє собою суміш спільності та унікальності змінної, і тому захоплює мінливість.

— ttnphns
джерело