PCA щодо кореляції чи коваріації: чи PCA щодо кореляції коли-небудь має сенс? [зачинено]

В основному аналізі компонентів (PCA) можна вибрати або коваріаційну матрицю, або кореляційну матрицю, щоб знайти компоненти (з відповідних власних векторів). Вони дають різні результати (завантаження ПК та бали), оскільки власні вектори між обома матрицями не рівні. Я розумію, що це спричинене тим, що вектор і його стандартизація Z не можуть бути пов'язані через ортогональне перетворення. Математично подібні матриці (тобто пов'язані з ортогональним перетворенням) мають однакові власні значення, але не обов'язково однакові власні вектори.$X$$Z$

Це викликає деякі труднощі в моїй свідомості:

1. Чи насправді PCA має сенс, якщо ви можете отримати дві різні відповіді на один і той же набір вихідних даних, обидва намагаються досягти одного і того ж (= пошук напрямів максимальної дисперсії)?

2. Під час використання матриці кореляційної матриці перед розрахунком ПК кожна змінна стандартизується (масштабується) за власним індивідуальним стандартним відхиленням. Як же тоді все-таки має сенс знайти напрямки максимальної дисперсії, якщо дані заздалегідь були масштабовані / стиснуті по-різному? Я знаю, що така кореляція PCA дуже зручна (стандартизовані змінні є безрозмірними, тому їх лінійні комбінації можна додати; інші переваги також базуються на прагматизмі), але чи правильно це?

Мені здається, що PCA на основі коваріації є єдиним справді правильним (навіть коли варіації змінних сильно відрізняються), і що коли ця версія не може бути використана, PCA на основі кореляції також не слід використовувати.

Я знаю, що є така нитка: PCA на кореляцію чи коваріацію? - але, здається, зосереджена лише на пошуку прагматичного рішення, яке може бути, а може бути і не алгебраїчно правильним.

Я сподіваюся, що ці відповіді на ваші два запитання заспокоїть ваше занепокоєння:

1. Кореляційна матриця - це коваріаційна матриця стандартизованих (тобто не лише центрированних, але і масштабованих) даних; тобто матриця коваріації (як би) іншого , іншого набору даних. Отже, це природно, і це не повинно вас турбувати, що результати відрізняються.
2. Так, є сенс знайти напрямки максимальної дисперсії зі стандартизованими даними - вони є напрямами - так би мовити - "кореляції", а не "ковариативності"; тобто після впливу неоднакових дисперсій - початкових змінних - на форму багатофакторної хмари даних було знято.

Наступний текст та зображення, додані @whuber (я дякую йому. Також дивіться мій коментар нижче)

Ось двовимірний приклад, який показує, чому все-таки має сенс знаходити основні осі стандартизованих даних (показано праворуч). Зауважте, що на правій ділянці хмара все ще має "форму", хоча відхилення уздовж осей координат зараз точно рівні (до 1,0). Аналогічно, у більш високих розмірах стандартизована хмара точок матиме несферичну форму, навіть якщо відхилення по всіх осях точно рівні (до 1,0). Основні осі (з відповідними власними значеннями) описують цю форму. Ще один спосіб зрозуміти це - зазначити, що відбувається все масштаб і зміщення, що відбувається при стандартизації змінних лише в напрямках осей координат, а не в самих основних напрямках.

Те, що відбувається тут, є геометрично настільки інтуїтивним і зрозумілим, що було б розтягнутись, щоб охарактеризувати це як "операцію з чорної скриньки": навпаки, стандартизація та PCA - це одні з найосновніших і рутинних речей, які ми робимо з даними для того, щоб щоб їх зрозуміти.

Продовжує @ttnphns

Коли ви вважаєте за краще робити PCA (або факторний аналіз чи інший подібний тип аналізу) на кореляціях (тобто на z-стандартизованих змінних), а не робити це на коваріаціях (тобто на центрированих змінних)?

1. Коли змінні є різними одиницями вимірювання. Це зрозуміло.
2. Коли хочеться, щоб аналіз відображав справедливий і лише лінійний характер асоціації. Пірсон r - це не тільки коваріація між немальованими (дисперсія = 1) змінними; це раптом є мірою сили лінійного відношення, тоді як звичайний коефіцієнт коваріації сприйнятливий як до лінійного, так і до монотонного відношення.
3. Коли хочеться, щоб асоціації відображали лупу, яка "скорочується" або "розтягує" шкалу оцінок на одну. відносну співвідхилення (від середнього), а не неодноразову девіантність. Кореляція базується на розподілах, їх поширенні, тоді як коваріація базується на вихідній шкалі вимірювання. Якби я факторно проаналізував психопатологічні профілі пацієнтів, як вони були зібрані психіатрами, на деяких клінічних анкетах, що складаються з предметів типу Лікерта, я вважаю за краще коваріації. Тому що від професіоналів не очікується спотворення рейтингової шкали внутрішньопсихічно. Якби, з іншого боку, я мав би проаналізувати автопортрети пацієнтів за тією ж анкетою, я, мабуть, обрав би співвідношення. Оскільки очікується, що оцінка мирян буде відносно "інших людей", "більшість" "допустиме відхилення"

Якщо говорити з практичної точки зору - можливо, тут непопулярні - якщо у вас є дані, виміряні в різних масштабах, тоді перейдіть з кореляцією ("УФ-масштабування", якщо ви хімік), але якщо змінні знаходяться в одній шкалі і розмір їх має значення (наприклад, із спектроскопічними даними), тоді коваріація (лише центрування даних) має більше сенсу. PCA - метод, що залежить від масштабу, а також перетворення журналу може допомогти з дуже перекошеними даними.

На мою скромну думку, грунтуючись на 20-річному практичному застосуванні хіміометрії, ви повинні трохи експериментувати і побачити, що найкраще підходить для вашого типу даних. Наприкінці дня вам потрібно вміти відтворити свої результати і спробувати довести передбачуваність своїх висновків. Як ви там потрапляєте, часто трапляються випадки спроб і помилок, але важливо, що те, що ви робите, є документально підтвердженим та відтвореним.

У мене немає часу перейти до більш повного опису детальних та технічних аспектів описуваного нами експерименту, а роз'яснення щодо формулювань (рекомендації, ефективність, оптимальність) знову відвернуть нас від реальної проблеми, що стосується того, який тип вхідних даних PCA може (не) / повинен (не) приймати. PCA діє, приймаючи лінійні комбінації чисел (значень змінних). Математично, звичайно, можна додати будь-які два (реальні чи складні) числа. Але якщо вони були переосмислені перед трансформацією PCA, чи є їх лінійна комбінація (а отже, і процес максимізації) все ж таки має сенс діяти? Якщо$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$ різніградусів. Мабуть, мало сенсу тоді максимізувати дисперсію їх лінійної комбінації. У такому випадку PCA дає рішення для іншого набору даних, завдяки чому кожна змінна масштабується по-різному. Якщо потім нестандартні зміни (після використання corr_PCA), можливо, це буде добре і необхідно; але якщо просто взяти необроблений розчин corr_PCA таким, який є, і зупинити його, ви отримаєте математичне рішення, але не одне, пов'язане з фізичними даними. Оскільки нестандартність після цього здається обов'язковою як мінімум (тобто, "розтягування" осей за допомогою обернених стандартних відхилень), cov_PCA можна було б використовувати для початку. Якщо ви досі читаєте, я вражений! Зараз я закінчую цитуванням книги Джолліффа, с. 42, яка стосується мене:"Однак не слід забувати, що ПК-матриця кореляції, коли їх повторно виражають у вигляді вихідних змінних, все ще є лінійними функціями x, які максимізують дисперсію відносно стандартизованих змінних, а не відносно вихідних змінних." Якщо ви думаєте, що я неправильно трактую це чи його наслідки, цей уривок може бути хорошим фокусом для подальшого обговорення.