Які змінні пояснюють, які компоненти PCA, і навпаки?

Використовуючи ці дані:

head(USArrests)
nrow(USArrests)

Я можу зробити PCA так:

plot(USArrests)
otherPCA <- princomp(USArrests)

Я можу отримати нові компоненти

otherPCA$scores

і частка дисперсії, поясненої компонентами з

summary(otherPCA)

Але що робити, якщо я хочу знати, які змінні в основному пояснюються основними компонентами? І навпаки: пояснюється, наприклад, PC1 або PC2 murder? Як я можу це зробити?

Чи можу я сказати, наприклад, що PC1 на 80% пояснюється murderабо assault?

Я думаю, що завантаження тут мені допомагають, але вони показують спрямованість, а не розбіжність, пояснену так, як я це розумію, наприклад

otherPCA$loadings

Loadings:
         Comp.1 Comp.2 Comp.3 Comp.4
Murder                         0.995
Assault  -0.995                     
UrbanPop        -0.977 -0.201       
Rape            -0.201  0.974   

Ви маєте рацію, вантажі можуть вам тут допомогти. Вони можуть бути використані для обчислення кореляції між змінними та основними компонентами. Більше того, сума навантажень у квадраті однієї змінної над усіма основними компонентами дорівнює 1. Отже, навантаження в квадраті говорить вам про частку дисперсії однієї змінної, пояснену однією основною складовою.

Проблема з принкомпом полягає в тому, що він показує лише "дуже високі" завантаження. Але оскільки навантаження - це лише власні вектори матриці коваріації, то можна отримати всі навантаження за допомогою eigenкоманди в R:

 loadings <- eigen(cov(USArrests))$vectors
 explvar <- loadings^2

Тепер у вас є бажана інформація в матриці explvar.

Я думаю, що прийнята відповідь може бути небезпечно оманливою (-1). Існує принаймні чотири різні питання, змішані разом в ОП. Я буду розглядати їх один за одним.

• Q1. Скільки дисперсії даного ПК пояснюється заданою оригінальною змінною? Скільки дисперсії заданої оригінальної змінної пояснюється даним ПК?

$r^2$$r$$i$$\mathbf V_i$$s_i$$\mathbf L_i$$\mathbf L_i = (s_i)^{1/2} \mathbf V_i$. Його елементи - кореляції цього ПК з відповідними оригінальними змінними.

$\mathbf V_i$$\mathbf L_i$

Крім того, якщо PCA проводиться на коваріаціях (а не на кореляціях), то навантаження також дасть вам коваріації, а не кореляції. Для отримання кореляцій потрібно обчислити їх вручну, дотримуючись PCA. [Зараз прийнята відповідь щодо цього незрозуміла.]

• $80\%$

$r^2$$R^2$

$r^2$$R^2$

• $80\%$

$r=0.9$$r=0.9$$r^2$$R^2 = 0.9\cdot0.9\cdot5>1$$R^2$

Як вибрати підмножину, що пояснює задану кількість дисперсії, запропонував @FrankHarrell (+1).

$R^2$$Y$

Дані про арешти в США в комплекті з R - лише приклад, але зауважу, що розрахунки навантажень у питанні надходять із PCA коваріаційної матриці . Це десь між довільним і безглуздим, оскільки змінні вимірюються в різних масштабах.

Міське населення виглядає як відсоток. Каліфорнія - 91% і найвища.

Три змінні злочину представляються кількістю арештів за злочини, виражені відносно чисельності населення (імовірно, протягом певного періоду часу). Імовірно, це десь задокументовано, чи це арешти на 1000 чи 10000 чи що завгодно.

Середнє значення змінної нападу в даних одиницях становить приблизно 171, а середнє вбивство - приблизно 8. Отже, пояснення ваших навантажень полягає в тому, що значною мірою модель є артефактом: це залежить від дуже різної мінливості змінних.

Отже, хоча в даних є сенс у тому, що за напади існує набагато більше арештів, ніж за вбивства тощо, той відомий (або несподіваний) факт домінує в аналізі.

Це показує, що, як і будь-де в статистиці, ви повинні думати про те, що ви робите в PCA.

Якщо взяти це далі:

1. Я б заперечив, що відсоток міських краще залишати поза аналізом. Не злочин бути міським; це, звичайно, може служити проксі для змінних, що впливають на злочинність.

2. PCA на основі кореляційної матриці мав би більше сенсу на мій погляд. Інша можливість - це працювати з логарифмами рівня арешту, а не зі ставками арешту (усі значення позитивні; див. Нижче).

Примітка: У відповіді @ random_guy свідомо використовується матриця коваріації.

Ось деякі зведені статистичні дані. Я використовував Stata, але це зовсім несуттєво.

    Variable |       Obs        Mean    Std. Dev.       Min        Max
-------------+--------------------------------------------------------
   urban_pop |        50       65.54    14.47476         32         91
      murder |        50       7.788     4.35551         .8       17.4
        rape |        50      21.232    9.366384        7.3         46
     assault |        50      170.76    83.33766         45        337