Чи PCA нестабільний при мультиколінеарності?

Я знаю, що в регресійній ситуації, якщо у вас є набір сильно корельованих змінних, це зазвичай "погано" через нестабільність оцінених коефіцієнтів (дисперсія йде в бік нескінченності, оскільки детермінанта йде до нуля).

Моє запитання - чи зберігається ця «поганість» у ситуації з УПС. Чи стають коефіцієнти / навантаження / ваги / власні вектори для будь-якого конкретного ПК нестабільними / довільними / не унікальними, коли матриця коваріації стає сингулярною? Мене особливо цікавить випадок, коли зберігається лише перший основний компонент, а всі інші відхиляються як "шум" або "щось інше" або "неважливо".

Я не думаю, що це так, тому що вам просто залишиться кілька основних компонентів, які мають нульову або близьку до нульової дисперсії.

Легко помітити, що це не так у простому крайньому випадку з двома змінними - припустимо, вони ідеально співвідносяться. Тоді перший ПК буде точним лінійним співвідношенням, а другий ПК буде перпендикулярним до першого ПК, при цьому всі значення ПК рівні нулю для всіх спостережень (тобто нульова дисперсія). Цікаво, чи це більш загальне.

Відповідь може бути дана ще простішими словами: множинна регресія має на крок більше, ніж pca, якщо її бачити з точки зору лінійної алгебри, а з другого кроку виникає нестабільність:

$R$$L \cdot L^t$

$L$
$L$

PCA часто є засобом для досягнення мети; що веде до входів до множинної регресії або для використання в кластерному аналізі. Я думаю, у вашому випадку ви говорите про використання результатів PCA для проведення регресії.

У цьому випадку ваша мета виконання PCA полягає в тому, щоб позбутися мультиколінеарності та отримати ортогональні входи до множинної регресії, не дивно, що це називається регресією основних компонентів. Тут, якби всі ваші вихідні входи були ортогональними, тоді виконання PCA дасть вам ще один набір ортогональних входів. Тому; якщо ви робите PCA, можна припустити, що ваші входи мають мультиколінеарність.

$\hat{ \lambda_{i} }$$i^{th}$$\frac{ \hat{ \lambda_{i} } }{p}$

Список літератури

Johnson & Wichern (2001). Прикладний багатоваріантний статистичний аналіз (6-е видання). Prentice Hall.