Яка перевага зменшення розмірності предикторів для регресії?

Які застосування або переваги регресії зменшення розмірності (DRR) або контрольованих методів зменшення розмірності (SDR) в порівнянні з традиційними методами регресії (без зменшення розмірності)? Цей клас методів знаходить низьке розмірне представлення набору функцій для проблеми регресії. Приклади таких методів включають нарізану зворотну регресію, основні гессійські напрямки, оцінку середньої різниці нарізаних, зворотну регресію нарізаного ядра, регресію основних компонентів тощо.

1. З точки зору перехресного підтвердження RMSE, якщо алгоритм краще виконував завдання регресії без будь-якого зменшення розмірності, то яке реальне використання зменшення розмірності для регресії? Я не розумію цих методів.

2. Чи використовуються ці методи випадково, щоб зменшити складність простору та часу для регресії? Якщо це головна перевага, корисними будуть деякі ресурси щодо зменшення складності для великомірних наборів даних, коли ці методи будуть використані. Я обговорюю це з тим, що для самої методики DRR або SDR потрібно певний час та місце. Це SDR / DRR + регресія на наборі даних із низьким затемненням швидше, ніж лише регресія на високотемпературному наборі даних?

3. Чи вивчена ця настройка лише з абстрактного інтересу і не має гарного практичного застосування?

Як побічна думка: часом бувають припущення, що спільний розподіл ознак та відповіді лежить на багатоманітності. Для вирішення проблеми регресії має сенс вивчити різноманітність із спостережуваного зразка в цьому контексті.$X$$Y$

Згідно з гіпотезою багатопланових даних, передбачається, що дані лежать на низькомірному колекторі, маючи на увазі, що залишковий шум - тому, якщо ви зробите правильне зменшення розмірності, вам слід покращити продуктивність, моделюючи сигнал, а не шум. Це не лише питання простору та складності.

Метою зменшення розмірності регресії є регуляризація.

Більшість методів, які ви перерахували, не дуже відомі; Я не чув про жоден з них, крім регресії основних компонентів (ПЛР). Тому я відповім про ПЛР, але очікую, що те саме стосується і інших методів.

Дві ключові слова тут - це пристосування та регуляризація . Для тривалого лікування та обговорення я посилаю вас на «Елементи статистичного навчання» , але дуже коротко, що трапиться, якщо у вас багато передбачувачів ( ) і недостатньо зразків ( ) - це те, що стандартна регресія перевищить дані, і ви побудувати модель, яка, здається, має хороші показники на навчальному наборі, але насправді має дуже низькі показники роботи на будь-якому тестовому наборі.$p$$n$

На крайньому прикладі, коли кількість предикторів перевищує кількість вибірок (люди посилаються на це як на проблему ), ви насправді можете ідеально відповідати будь-якій змінній відповіді , досягаючи, здавалося б, продуктивності. Це явно нісенітниця.y 100 $p>n$$y$$100\%$

Для боротьби з надмірною обробкою доводиться використовувати регуляризацію , і існує безліч різних стратегій регуляризації. У деяких підходах намагаються різко скоротити кількість предикторів, зменшуючи проблему до ситуації, а потім використовувати стандартну регресію. Саме це робить регресія основних компонентів. Будь ласка, дивіться Елементи , розділи 3.4--3.6. ПЛР зазвичай субоптимальний, і в більшості випадків деякі інші методи регуляризації будуть ефективнішими, але їх легко зрозуміти та інтерпретувати.$p\ll n$

Зауважте, що ПЛР також не є довільною (наприклад, випадкове збереження розмірів, ймовірно, буде набагато гірше). Причиною цього є те, що ПЛР тісно пов'язаний з регресією хребта, що є стандартним регулятором усадки, який, як відомо, добре працює у великій кількості випадків. Дивіться мою відповідь тут для порівняння: Зв'язок між регресією хребта та регресією PCA .$p$

Щоб побачити підвищення продуктивності порівняно зі стандартною регресією, вам потрібен набір даних з великою кількістю передбачувачів і не так багато зразків, і вам обов'язково потрібно використовувати перехресну перевірку або незалежний тестовий набір. Якщо ви не бачили жодного збільшення продуктивності, можливо, ваш набір даних не мав достатнього розміру.

Пов’язані теми з хорошими відповідями:

• Регресія в налаштуваннях (прогнозування ефективності препарату за допомогою експресії генів за допомогою 30 кб предикторів та ~ 30 проб)$p\gg N$

• Регресія в налаштуваннях : як вибрати метод регуляризації (Lasso, PLS, PCR, ridge)?$p>n$