Як застосувати регресію до основних компонентів для прогнозування вихідної змінної?

Я читав про основи основного компонентного аналізу з tutorial1 , link1 і LINK2 .

У мене є набір даних зі 100 змінних (включаючи вихідну змінну Y), я хочу зменшити змінні до 40 за PCA, а потім передбачити змінну Y за допомогою цих 40 змінних.

Проблема 1: Після отримання основних компонентів та вибору перших 40 компонентів, якщо я застосую до нього регресію, я отримую деяку функцію, яка відповідає даним. Але як передбачити якусь змінну Y з вихідних даних? Щоб передбачити змінну YI на вході (100-1) змінних, і як я можу знати, які 40 змінних вибрати з моїх оригінальних змінних 100-1?

Проблема 2: Я реверсую PCA і повертаю дані з цих 40 основних компонентів. Але дані змінюються, бо я вибрав лише перші 40 компонентів. Чи має сенс застосувати регресію до цих даних?

Я використовую Matlab / Octave.

Ви не вибираєте підмножину своїх оригінальних 99 (100-1) змінних.

Кожен з основних компонентів є лінійними комбінаціями всіх 99 змінних предиктора (x-змінні, IV, ...). Якщо ви використовуєте перші 40 основних компонентів, кожен з них є функцією всіх 99 оригінальних прогнозних змінних. (Принаймні, із звичайною PCA - існують розріджені / регульовані версії, такі як SPCA Zou, Hastie і Tibshirani, які дають компоненти на основі меншої кількості змінних.)

Розглянемо простий випадок двох позитивно корельованих змінних, які для простоти будемо вважати однаково змінними. Тоді перший головний компонент буде (дробовим) кратним сумою обох змінних, а другий буде (дробовим) кратним різниці двох змінних; якщо обидва не є однаково змінними, перший головний компонент буде важити більш змінну один значно більше, але він все одно буде включати обидва.

Отже, ви починаєте зі своїх 99 x-змінних, з яких ви обчислюєте свої 40 основних компонентів, застосовуючи відповідні ваги на кожну з оригінальних змінних. [Примітка. У своєму обговоренні я припускаю, що і вже по центру.]$y$$X$

Потім ви використовуєте свої 40 нових змінних так, як ніби вони були власними передбачувачами, так само, як і при будь-якій проблемі множинної регресії. (На практиці існують більш ефективні способи отримання оцінок, але давайте залишимо осторонь обчислювальних питань і просто розберемося з базовою ідеєю)

Що стосується вашого другого питання, то незрозуміло, що ви маєте на увазі під "поверненням PCA".

Ваші ПК - це лінійні комбінації вихідних змінних. Скажімо, ваші вихідні змінні знаходяться в , і ви обчислюєте (де - а - матриця яка містить основні ваги компонентів для компонентів, які ви використовуєте), тоді ви оцінка за допомогою регресії.$X$$Z=XW$$X$$n\times 99$$W$$99\times 40$$40$$\hat{y}=Z\hat{\beta}_\text{PC}$

Тоді ви можете написати сказати (де , очевидно), тож ви можете записати це як функцію оригінальних прогнозів; Я не знаю , якщо це те, що ви маєте в виду під «заднім ходом», але це осмислено поглянути на початкові взаємини між і . Це не те саме, що коефіцієнти, які ви отримуєте, оцінюючи регресію на оригінальному X-курсі, звичайно - це регулюється за допомогою PCA; незважаючи на те, що ви отримаєте коефіцієнти для кожного свого оригінального X таким чином, вони мають лише df тієї кількості компонентів, яку ви встановили.$\hat{y}=Z\hat{\beta}_\text{PC}=XW\hat{\beta}_\text{PC}=X\hat{\beta}^*$$\hat{\beta}^*=W\hat{\beta}_\text{PC}$$y$$X$

Також дивіться Вікіпедію щодо регресії основних компонентів .