Чому Деніел Вілкс (2011) каже, що регресія основних компонентів "буде упередженою"?

У статистичних методах наук про атмосферу Даніель Вілкс зазначає, що багаторазова лінійна регресія може призвести до проблем, якщо між предикторами є дуже сильні взаємозв'язки (3-е видання, стор. 559-560):

Патологія, яка може виникати при множинній лінійній регресії, полягає в тому, що набір змінних прогнозів, що мають сильні взаємні кореляції, може призвести до обчислення нестабільної регресійної залежності.

(...)

Потім він вводить регресію основних компонентів:

Підхід до вирішення цієї проблеми полягає в тому, щоб спочатку перетворити прогнози на їх основні компоненти, кореляції між якими дорівнюють нулю.

Все йде нормально. Але далі він робить деякі заяви, які він не пояснює (або, принаймні, недостатньо детально, щоб я зрозумів):

Якщо всі головні компоненти зберігаються в регресії головного компонента, то нічого не вийде за звичайні найменші квадрати, придатні до повного набору прогнозів.

(..) і:

Можна повторно виразити регресію основного компонента з точки зору вихідних предикторів, але результат, як правило, буде включати всі оригінальні змінні предиктора, навіть якщо були використані лише один або кілька основних предикторів компонентів. Ця відновлена ​​регресія буде упередженою, хоча часто дисперсія набагато менша, що призводить до меншої загальної ЧДЧ.

Я не розумію цих двох моментів.

Звичайно, якщо всі основні компоненти зберігаються, ми використовуємо ту саму інформацію, що і коли ми використовували предиктори в їх первісному просторі. Однак проблема взаємних кореляцій усувається роботою в просторі компонентів. У нас все ще може бути надмірне оснащення, але це єдина проблема? Чому нічого не отримується?

По-друге, навіть якщо ми врізаємо основні компоненти (можливо, для зменшення шуму та / або для запобігання перенапруження), чому і як це призводить до упередженої відновленої регресії? Яким чином упереджений?

Джерело книги: Даніель С. Вілкс, Статистичні методи в атмосферних науках, Третє видання, 2011. Міжнародна серія геофізики Том 100, Academic Press.

Що відбувається, коли використовуються всі ПК?

Якщо використовуються всі ПК, то отримані коефіцієнти регресії будуть ідентичними тим, що отримані при регресії OLS, і тому цю процедуру краще не називати «регресією основних компонентів». Це стандартна регресія, яка виконується лише в обхідному напрямку.

Ви запитуєте, як можливо, що нічого не виходить, враховуючи, що після PCA прогнози стають ортогональними. Диявол ховається в зворотному перетворенні коефіцієнтів регресії з простору PCA в вихідний простір. Що вам потрібно знати, це те, що дисперсія розрахункових коефіцієнтів регресії обернено залежить від коваріаційної матриці предикторів. Трансформовані PCA предиктори, назвемо їх , мають діагональну коваріаційну матрицю (тому що вони некорельовані). Отже всі коефіцієнти регресії дляZ X X $Z$$Z$також є некорельованими; ті, що відповідають ПК з високою дисперсією, мають низьку дисперсію (тобто надійно оцінюються), а ті, що відповідають ПК з низькою дисперсією, мають велику дисперсію (тобто оцінюються ненадійно). Коли ці коефіцієнти будуть перетворені на початкові предиктори , кожен з предикторів отримає деяку частину недостовірних оцінок, і тому всі коефіцієнти можуть стати ненадійними .$X$$X_i$

Так нічого не отримується.

Що відбувається, коли використовується лише декілька ПК?

Якщо не всі ПК зберігаються в ПЛР, то отримане рішення , як правило, не дорівнюватиме стандартному звичайному мінімальним рішенням . Це стандартний результат, коли рішення OLS є неупередженим : див . Теорему Гаусса-Маркова . "Незаангажований" означає, що в середньому правильний , хоча це може бути дуже шумно. Оскільки рішення ПЛР відрізняється від нього, воно буде упередженим , тобто середнє значення буде неправильним. Однак часто трапляється, що він значно менш галасливий, що призводить до загальних точніших прогнозів. β OLS$\hat \beta_\mathrm{PCR}$$\hat \beta_\mathrm{OLS}$$\hat \beta$

Це приклад компромісії з ухилом відхилення . Див. Чому працює усадка? для подальшої загальної дискусії.

У коментарях @whuber зазначав, що рішення ПЛР не повинно відрізнятися від OLS і, отже, не повинно бути упередженим. Дійсно, якщо залежна змінна є некорельованою (у сукупності, а не у вибірці) з усіма ПК з низькою дисперсією, які не входять до моделі ПЛР, відмова від цих ПК не вплине на неупередженість. Це, однак, навряд чи має місце на практиці: PCA проводиться без урахування тому, очевидно, має тенденцію дещо співвідноситись з усіма ПК.y $y$$y$$y$

Чому використання ПК з високою дисперсією взагалі хороша ідея?

Це не було частиною питання, але вас може зацікавити наступний потік для подальшого читання: Як верхні основні компоненти можуть зберігати прогнозовану потужність залежної змінної (або навіть призводити до кращих прогнозів)?