Чи можна використовувати декілька регресій для прогнозування одного основного компонента (ПК) від кількох інших ПК?

Нещодавно користувач у списку розсилки R-help запитав про надійність використання балів PCA в регресії. Користувач намагається використовувати деякі результати на ПК, щоб пояснити зміни в іншому ПК (див. Повну дискусію тут ). Відповідь була: ні, це не звучить, оскільки ПК є ортогональними один для одного.

Чи може хтось пояснити трохи детальніше, чому це так?

Основний компонент - це зважена лінійна комбінація всіх ваших факторів (X).

приклад: PC1 = 0,1X1 + 0,3X2

Буде одна складова для кожного фактора (хоча загалом обрано невелику кількість).

Компоненти створені таким чином, що вони мають нульову кореляцію (є ортогональними) за конструкцією.

Отже, компонент PC1 не повинен пояснювати будь-яких змін компонента PC2.

Ви можете зробити регресію для своєї змінної Y та PCA-представлення ваших X, оскільки вони не матимуть мультиколінеарності. Однак це може бути важко інтерпретувати.

Якщо у вас більше X, ніж спостережень, що порушує OLS, ви можете регресувати на своїх компонентах і просто вибрати меншу кількість найвищих компонентів варіації.

Аналіз основних компонентів Jollife - це дуже поглиблена та високо цитована книга з цього приводу

Це також добре: http://www.statsoft.com/textbook/principal-components-factor-analysis/

Основні компоненти є ортогональними за визначенням, тому будь-яка пара ПК матиме нульову кореляцію.

Однак PCA може використовуватися в регресії, якщо існує велика кількість пояснювальних змінних. Вони можуть бути зменшені до невеликої кількості основних компонентів і використовуватися як предиктори для регресії.

Обережно ... тільки те, що ПК будуються ортогонально один до одного, не означає, що немає шаблону або що один ПК не може з'явитись, щоб "пояснити" щось про інші ПК.

Розгляньте 3D-дані (X, Y, Z), що описують велику кількість точок, розподілених рівномірно на поверхні американського футболу (це еліпсоїд - не сфера - для тих, хто ніколи не дивився американський футбол). Уявіть, що футбол знаходиться в довільній конфігурації, так що ні X, ні Y, і Z не знаходяться вздовж довгої осі футболу.

Основні компоненти розмістять PC1 вздовж довгої осі футболу, осі, яка описує найбільшу дисперсію даних.

Для будь-якої точки розміру PC1 вздовж довгої осі футболу, плоский зріз, представлений PC2 та PC3, повинен описувати коло, а радіус цього кругового зрізу залежить від розміру PC1. Це правда, що регресії PC2 або PC3 на PC1 повинні давати нульовий коефіцієнт в усьому світі, але не над меншими ділянками футболу .... і зрозуміло, що двовимірний графік PC1 і PC2 показав би "цікаву" граничну границю тобто двозначне, нелінійне та симетричне.

Якщо ваші дані є розмірними і галасливими, і ви не маєте великої кількості вибірки, ви стикаєтеся з небезпекою перевитрати. У таких випадках має сенс використовувати PCA (який може фіксувати домінуючу частину дисперсії даних; ортогональність не є проблемою) або факторний аналіз (який може знайти справжні пояснювальні змінні, що лежать в основі даних), щоб зменшити розмірність даних, а потім навчити регресійну модель з ними.

Для факторного підходу, що базується на факторному аналізі, дивіться цю статтю Баєсової регресійної моделі фактора та непараметричну баєсовську версію цієї моделі , яка не передбачає, що ви апріорі знаєте "справжню" кількість відповідних факторів (або основних компонентів у випадку PCA).

Додам, що у багатьох випадках зменшення розмірності під контролем (наприклад, аналіз дискримінантності Фішера ) може вдосконалити порівняно з простими підходами, заснованими на PCA або FA, оскільки ви можете використовувати інформацію мітки, одночасно зменшуючи розмірність.

ви могли б витягнути його , якщо прогнозована оцінка PC була витягнута з різних змінних, або випадків, ніж оцінки провісника PC. якщо такий випадок передбачуваний і прогноктор не буде ортогональним або, принаймні, цього не потрібно, кореляція, звичайно, не гарантується.