Плутати у візуальному поясненні власних векторів: як візуально різні набори даних мають однакові власні вектори?

Багато підручників зі статистикою дають інтуїтивну ілюстрацію того, що являють собою власні вектори матриці коваріації:

введіть тут опис зображення

Вектори u і z утворюють власні вектори (ну, ейенакси). Це має сенс. Але одне, що мене бентежить, - це те, що ми отримуємо власні вектори з кореляційної матриці, а не з необроблених даних. Крім того, сирі набори даних, які є досить різними, можуть мати однакові кореляційні матриці. Наприклад, наступні обидві мають матриці кореляції:

[\begin{matrix} 1 & 0.97 \\ 0.97 & 1 \end{matrix}]

$\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right]$

Власні вектори

Як такі вони мають власні вектори, що вказують у тому ж напрямку:

[\begin{matrix} .71 & - .71 \\ .71 & .71 \end{matrix}]

$\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right]$

Але якби ви застосували ту саму візуальну інтерпретацію того, які напрямки були власними векторами у вихідних даних, ви отримаєте вектори, що вказують у різні сторони.

Може хтось, будь ласка, скаже мені, де я помилився?

Друга редакція : Якщо я можу бути настільки сміливим, з відмінними відповідями нижче я зміг розібратися в замішанні і проілюстрував це.

Візуальне пояснення узгоджується з тим, що власні вектори, витягнуті з матриці коваріації , відрізняються.

Коваріанці та власні вектори (червоний):

$[\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix}] [\begin{matrix} .7 & - .72 \\ .72 & .7 \end{matrix}]$ $\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$
Коваріанці та власні вектори (блакитний):

$[\begin{matrix} .25 & .5 \\ .5 & 1 \end{matrix}] [\begin{matrix} .43 & - .9 \\ .9 & .43 \end{matrix}]$ $\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$
Кореляційні матриці відображають матриці коваріації стандартизованих змінних. Візуальний огляд стандартизованих змінних демонструє, чому в моєму прикладі витягуються однакові власні вектори:

введіть тут опис зображення

— Сью Дох Нім
джерело

Якщо ви хочете оцінити кореляцію , то ви повинні намалювати свої розсипачі за допомогою шкал, у яких стандартні відхилення компонентів рівні. Це не стосується жодного з ваших зображень (за винятком, можливо, червоних крапок у другому), що може бути однією з причин, коли ви вважаєте це заплутаним.

— whuber

Дякую, що ви проілюстрували ваше запитання. Це допомагає людям зрозуміти це і додає значення потоку для подальшого використання. Однак майте на увазі, що ~ 10% чоловіків мають червоно-зелений колір. З двома кольорами червоний та синій можуть бути безпечнішими.

— gung - Відновіть Моніку

Велике спасибі, я виправив кольори, як ви запропонували

— Сью Дох Нім

Без проблем, @SueDohNimh. Дякуємо, що зробили це зрозумілим для всіх. З іншого боку, я б зберігав [PCA]тег. Якщо ви хочете переосмислити питання або задати нове (споріднене) запитання та посилання на це, це здається нормальним, але я думаю, що це питання достатньо PCA, щоб заслужити тег.

— gung - Відновити Моніку

Приємна робота, @SueDohNimh. Ви можете також додати це як відповідь на власне запитання замість редагування, якщо цього хочете.

— gung - Відновіть Моніку

Вам не доведеться робити PCA над кореляційною матрицею; ви також можете розкласти коваріаційну матрицю. Зауважте, що вони, як правило, дають різні рішення. (Докладніше про це див. У ПКС щодо кореляції чи коваріації? )

${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

Знову ж таки, якщо ви виконаєте PCA з цими групами, використовуючи матриці коваріації, ви отримаєте інший результат, ніж якщо будете використовувати матриці кореляції.

— gung - Відновити Моніку
джерело

(1, 1)

$(1,1)$

(1, - 1)

$(1,-1)$

+1 до того, що написав @whuber, але зауважте, що відповідні власні значення залежать від значення кореляції.

— амеба

Це правда, але власні вектори матриці Cov можуть змінюватись залежно від кореляції.

— gung - Відновити Моніку

Привіт, хлопці, велике спасибі Я усвідомлював, що окремі власні вектори виникають замість використання матриць коваріації; це було ще одним джерелом занепокоєння, оскільки я змусив мене хвилюватися, що, використовуючи кореляційні матриці, замість цього я зменшував інформацію, що використовується, і тому є менш точним. Чи було б розумним зробити висновок на основі ваших відповідей, що надана візуальна інтерпретація дійсно застосовна лише для власних векторів коваріаційної матриці вихідних даних, а не для матриці кореляції?

— Сью Дох Нім

Не дуже, @SueDohNimh. Ви можете використовувати візуальну інтерпретацію, просто спочатку стандартизуйте свої змінні, якщо ви хочете використовувати матрицю кореляції.

— gung - Відновіть Моніку