Який належний показник асоціації змінної з компонентом PCA (на графіці біплоту / завантаження)?

Я використовую, FactoMineRщоб зменшити набір даних вимірювань до прихованих змінних.

Карта змінна вище ясно для мене , щоб інтерпретувати, але я збентежений , коли мова йде про зв'язки між змінними і компонента 1. Подивившись на змінної карті, ddpі covдуже близько до компоненту в карті, і ddpAbsтрохи далі геть. Але це не те, що показують кореляції:

$Dim.1
$Dim.1$quanti
        correlation      p.value
jittAbs   0.9388158 1.166116e-11
rpvi      0.9388158 1.166116e-11
sd        0.9359214 1.912641e-11
ddpAbs    0.9327135 3.224252e-11
rapAbs    0.9327135 3.224252e-11
ppq5      0.9319101 3.660014e-11
ppq5Abs   0.9247266 1.066303e-10
cov       0.9150209 3.865897e-10
npvi      0.8853941 9.005243e-09
ddp       0.8554260 1.002460e-07
rap       0.8554260 1.002460e-07
jitt      0.8181207 1.042053e-06
cov5_x    0.6596751 4.533596e-04
ps13_20  -0.4593369 2.394361e-02
ps5_12   -0.5237125 8.625918e-03

Тоді є sin2величина, яка є висотою rpvi(наприклад), але ця міра зовсім не є змінною, яка найбільш близька до першого компонента.

Variables
           Dim.1    ctr   cos2    Dim.2    ctr   cos2  
rpvi    |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
npvi    |  0.885  7.227  0.784 |  0.075  0.267  0.006 |
cov     |  0.915  7.719  0.837 | -0.006  0.001  0.000 |
jittAbs |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
jitt    |  0.818  6.171  0.669 |  0.090  0.380  0.008 |
rapAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
rap     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
ppq5Abs |  0.925  7.884  0.855 |  0.091  0.392  0.008 |
ppq5    |  0.932  8.007  0.868 | -0.035  0.057  0.001 |
ddpAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
ddp     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
pa      |  0.265  0.646  0.070 | -0.857 34.614  0.735 |
ps5_12  | -0.524  2.529  0.274 |  0.664 20.759  0.441 |
ps13_20 | -0.459  1.945  0.211 |  0.885 36.867  0.783 |
cov5_x  |  0.660  4.012  0.435 |  0.245  2.831  0.060 |
sd      |  0.936  8.076  0.876 |  0.056  0.150  0.003 |

Отже, на що слід звернути увагу, коли йдеться про асоціацію між змінною та першим компонентом?

— Фредрік Карлссон
джерело

Точки Althougt на вашій карті (виглядає як завантажувальний сюжет) захаращуються, я б сказав, що сюжет добре відповідає "кореляціям" виводу. Ці "кореляції" - це координати на Dim1. Вони, навантаження, є співвідношеннями між фактором і змінними (коли ви базували свій аналіз на стандартизованих даних = на кореляціях в / з змінних).

— ttnphns

Крім відповідей (-ів) нижче, будь ласка, ознайомтесь із цим, щоб отримати додаткові посилання.

— ttnphns

Пояснення схеми завантаження PCA або факторного аналізу.

Графік завантаження показує змінні у вигляді точок у просторі основних компонентів (або факторів). Координати змінних, як правило, є навантаженнями. (Якщо ви правильно комбінуєте завантажувальну ділянку з відповідним розсипом випадків даних в одному просторі компонентів, це було б біплот.)

Давайте-як - то корелюють змінні, , , . Ми центруємо їх і виконуємо PCA , витягуючи з перших 2 основних компоненти з трьох: і . Ми використовуємо навантаження як координати, щоб зробити графік завантаження нижче. Навантаження - це нестандартні елементи власних векторів, тобто власні вектори, наділені відповідними відхиленнями компонентів, або власними значеннями. $V$ $W$ $U$ $F_1$ $F_2$

enter image description here

Завантаження сюжету - це площина на малюнку. Розглянемо тільки змінну . Стрілка, звичайно намальована на навантажувальній ділянці, - це те, що тут позначено ; координати , - це навантаження з і $V$ $h'$ $a_1$ $a_2$ $V$ $F_1$ $F_2$ відповідно (будь ласка, знайте, що термінологічно правильніше сказати "компонент завантажує змінну", а не навпаки).

Стрілка є проекцією на площині компонента, вектор , який є справжнім станом змінної в змінних просторі , натягнуте на , , . Квадрат довжини вектора, , є дисперсія з . Тоді як - частина цієї дисперсії, пояснена двома компонентами. $h'$ $h$ $V$ $V$ $W$ $U$ $h^2$ $\bf^a$ $V$ $h'^2$

Завантаження, кореляція, прогнозоване співвідношення . Оскільки змінні були зосереджені до вилучення компонентів, - Пірсонова кореляція між та компонентом . Це не слід плутати з на завантаження, що є ще однією величиною: це кореляція Пірсона між компонентом та змінною, векторованою тут як . Як змінна, - це прогнозування за (стандартизованими) компонентами в лінійній регресії (порівняйте з малюванням геометрії лінійної регресії тут $\cos \phi$ $V$ $F_1$ $\cos \alpha$ $F_1$ $h'$ $h'$ $V$ ) де навантаження 's - коефіцієнти регресії (коли компоненти зберігаються ортогонально, як витягнуті). $a$

Далі. Ми можемо пам’ятати (тригонометрія), що . Його можна розуміти як скалярний добуток між вектором та вектором довжини одиниці : . встановлює цей одиничний дисперсійний вектор, оскільки він не має власної дисперсії, окрім тієї дисперсії яку він пояснює (на суму ): тобто $a_1 = h \cdot \cos \phi$ $V$ $F_1$ $h \cdot 1 \cdot \cos \phi$ $F_1$ $V$ $h'$ $F_1$ це видобуток із V, W, U, а не запрошений із-за межі сторони. Тоді, чітко, -коваріаціяміжтастандартизованою, одиничною шкалою(задати $a_1 = \sqrt{var_{V} \cdot var_{F_1}} \cdot r = h \cdot 1 \cdot \cos \phi$ $V$ $\bf^b$ ) компонент. Ця коваріація прямо порівнянна з коваріаціями між вхідними змінними; наприклад, коваріація міжібуде добутком їх довжин вектора, помножених на косинус між ними. $s_1=\sqrt{var_{F_1}}=1$ $F_1$ $V$ $W$

Підсумовуючи: завантаження можна розглядати як коваріацію між стандартизованим компонентом і спостережуваною змінною, , або еквівалентно між стандартизованим компонентом і поясненим (усіма компонентами, що визначають графік) зображенням змінна, . Це можна назвати співвідношенням V-F1, спроектованим на компонентний підпростір F1-F2. $a_1$ $h \cdot 1 \cdot \cos \phi$ $h' \cdot 1 \cdot \cos \alpha$ $\cos \alpha$

Вищезазначена кореляція між змінною та складовою, , також називається стандартизованим або масштабованим завантаженням . Це зручно в інтерпретації компонентів, оскільки знаходиться в інтервалі [-1,1]. $\cos \phi = a_1/h$

Ставлення до власних векторів . Масштабірованно- навантаження слід НЕ слід плутати з власним вектором елементом , який - як ми знаємо, - це косинус кута між змінним і основним компонентом. Нагадаємо, що завантаження - це власний векторний елемент, що збільшується на особливе значення компонента (квадратний корінь власного значення). Тобто для змінної нашої ділянки: , де - st. відхилення (не а вихідне, тобто значення однини) $\cos \phi$ $V$ $a_1= e_1s_1$ $s_1$ $1$ $F_1$ латентна змінна. Тоді виходить, що власний векторний елемент , а не сам. Плутанина навколо двох слів "косинус" розчиняється, коли ми згадуємо, в якому просторі ми представляємо. Значення власного вектора- цекосинускута поворотузмінної як осі на pr. компонент як вісь у змінному просторі (він же розкидання розсіювача),наприклад, тут. Хочана навантажувальній ділянці- це міра подібності косинусуміж змінною як вектор та pr. компонент як ... ну .. як вектор також, якщо вам подобається (хоч це намальовано як вісь на графіці), - адже ми зараз втематичному просторі $e_1= \frac{a_1}{s_1}=\frac{h}{s_1}\cos \phi$ $\cos \phi$ $\cos \phi$ (який графік завантаження), де співвідносні змінні є вентиляторами векторів - це не ортогональні осі, - а векторні кути є мірою об'єднання - а не обертання бази простору.

В той час як навантаження - це кутова асоціація (тобто скалярний тип продукту), міра асоціації між змінною та одиничною шкалою компонента, а масштабоване навантаження - це стандартизоване навантаження, де масштаб змінної зводиться до одиниці, але коефіцієнт власного вектора - це навантаження, де компонент "завищений", тобто був доведений до масштабу (а не 1); альтернативно, це може розглядатися як масштабоване завантаження, де масштаб змінної був доведений до (замість 1). $1/s$ $h/s$

Отже, що таке асоціації між змінною та компонентом? Ви можете вибрати те, що вам подобається. Це може бути навантаження (коваріація з одиничною шкалою компонента) ; перемасштабірована завантаження (= змінна складової кореляція); кореляція між зображенням (передбачення) та компонентом (= прогнозована кореляція ). Ви можете навіть вибрати коефіцієнт власного вектора якщо вам це потрібно (хоча мені цікаво, що може бути причиною). Або винайдіть свій власний захід. $a$ $\cos \phi$ $\cos \alpha$ $e= a/s$

Значення власного вектора у квадраті має значення внеску змінної в pr. компонент. Налаштоване навантаження в квадраті має значення внеску pr. компонент у змінну.

Ставлення до PCA засноване на кореляціях. Якби ми аналізували PCA не просто центрировані, а стандартизовані (в центрі тоді масштаб одиниці дисперсії), то три вектори змінних (а не їх проекції на площину) були б однакової, одиничної довжини. Потім автоматично випливає, що навантаження - це кореляція , а не коваріація між змінною та компонентом. Але що кореляція НЕ буде дорівнює «стандартизовані навантаження» на зображенні вище (на основі аналізу тільки зосереджених змінних), так як PCA стандартизованих змінних (кореляції на основі PCA) дає різні компоненти , ніж PCA зосереджених змінних ( PCA на основі коваріацій). У кореляційній PCA $\cos \phi$ тому що , але головні компонентинеєтими самимиосновними компонентами, що ми отримуємо з PCA на основі коваріацій (читати,читати). $a_1= \cos \phi$ $h=1$

При факторному аналізі ділянка завантаження має в основному ту саму концепцію та інтерпретацію, що й у PCA. Єдина (але важлива ) різниця - це речовина . При факторному аналізі - називається тоді "спільністю" змінної - це частина її дисперсії, що пояснюється загальними факторами, що відповідають за кореляції між змінними. Перебуваючи в PCA, пояснена частина $h'$ $h'$ $h'$ є грубою "сумішшю" - вона частково являє собою кореляцію та частково неспорідненість серед змінних. При факторному аналізі площина навантажень на нашій картині буде орієнтована інакше (насправді вона навіть пошириться з простору наших 3d змінних на 4-й вимір, який ми не можемо намалювати; площина навантажень не буде підпростором нашої 3d простір, що охоплюється та двома іншими змінними), а проекція буде іншої довжини та з іншим кутом . (Теоретична різниця між PCA та факторним аналізом пояснюється геометрично тут через предметне представлення простору і тут за допомогою змінного представлення простору.) $V$ $h'$ $\alpha$

Відповідь на запит @Antoni Parellada у коментарях. Еквівалентно, чи хочете ви говорити вдисперсіїабо з точки зорурозсіювання(SS відхилення): дисперсія = розкидання, де- розмір вибірки. Оскільки ми маємо справу з одним набором даних з тим самим, константа нічого не змінює у формулах. Якщоє даними (зі змінними V, W, U), то ейгендекомпозиція матриці коваріації (A) коваріації дає ті самі власні значення (дисперсії компонентів) та власні вектори, як ейгендекомпозиція (B) матриці розсіювання $\bf^{a,b}$ $/(n-1)$ $n$ $n$ $\bf X$ $\bf X'X$ отриманий після початкового поділу на $\bf X$ фактор. Після цього у формулі завантаження (див. Середній розділ відповіді), термін-st. відхилення $\sqrt{n-1}$ $a_1 = h \cdot s_1 \cdot \cos \phi$ $h$ в (A), але розсіювання коренів (тобто норма)в (B). Термін, що дорівнює,-стандартизованийкомпонент. відхилення $\sqrt{var_{V}}$ $\Vert V \Vert$ $s_1$ $1$ $F_1$ in (A), але розсіювання кореняin (B). Нарешті,- кореляція, нечутливадо використанняу своїх обчисленнях. Таким чином, ми простоговоримоконцептуально про відхилення (А) або про розсіювання (В), тоді як самі значення залишаються однаковими у формулі в обох випадках. $\sqrt{var_{F_1}}$ $\Vert F_1 \Vert$ $\cos \phi = r$ $n-1$

— ttnphns
джерело

α

$\alpha$

@ssdecontrol, я додав рядок про це.

— ttnphns

a_{1} = \sqrt{v a r_{V} \cdot v a r_{F 1}} \cdot r = h \cdot 1 \cdot \cos ϕ

$a_1 = \sqrt{var_{V} \cdot var_{F1}} \cdot r = h \cdot 1 \cdot \cos \phi$

r = c o s ϕ

$r=cos\phi$

\sqrt{v a r F 1} = 1

$\sqrt{var{F1}}=1$

\sqrt{v a r_{V}} = h

$\sqrt{var_V}=h$

h = ‖ V ‖ = \sqrt{\sum x^{2}}

$h=\Vert V\Vert= \sqrt{\sum x^2}$

\sqrt{v a r_{V}} = \sqrt{\frac{\sum x^{2}}{n - 1}}

$\sqrt{var_V}=\sqrt{\frac{\sum x^2}{n-1}}$

@AntoniParellada, будь ласка, перевірте виноску.

— ttnphns

F_{1}

$F_1$