Зменшення кількості змінних у множинній регресії

У мене є великий набір даних, що складається із значень кількох сотень фінансових змінних, які можна було б використовувати в декількох регресіях для прогнозування поведінки індексного фонду в часі. Я хотів би зменшити кількість змінних до десяти або більше, зберігаючи якомога більше прогнозних можливостей. Додано: Скорочений набір змінних повинен бути підмножиною вихідного набору змінних, щоб зберегти економічний зміст вихідних змінних. Так, наприклад, я не повинен закінчувати лінійними комбінаціями або сукупностями вихідних змінних.

Деякі (напевно, наївні) думки про те, як це зробити:

1. Виконайте просту лінійну регресію з кожною змінною та виберіть десять із найбільшими значеннями . Звичайно, немає гарантії, що десять найкращих індивідуальних змінних разом будуть найкращою групою з десяти.$R^2$
2. Проведіть аналіз основних компонентів і спробуйте знайти десять оригінальних змінних з найбільшими асоціаціями з першими кількома основними осями.

Я не думаю, що я можу виконати ієрархічну регресію, оскільки змінні насправді не вкладені. Спроба всіх можливих комбінацій з десяти змінних обчислювально нездійсненна, оскільки є занадто багато комбінацій.

Чи існує стандартний підхід для вирішення цієї проблеми зменшення кількості змінних у множинній регресії?

Здається, це була б досить поширеною проблемою, щоб існував стандартний підхід.

Дуже корисною була б відповідь, яка не тільки згадує стандартний метод, але й дає огляд того, як і чому він працює. Крім того, якщо не існує одного стандартного підходу, а досить декількох із різними сильними та слабкими сторонами, дуже корисною була б відповідь, яка обговорює їх плюси та мінуси.

коментар whuber нижче вказує на те, що запит в останньому абзаці занадто широкий. Натомість я б прийняв як хорошу відповідь перелік основних підходів, можливо, з дуже коротким описом кожного. Коли я отримаю умови, я можу викопати деталі на кожному.

Ця проблема зазвичай називається підбором підмножини, і існує досить багато різних підходів. Ознайомтесь із Google Scholar для огляду відповідних статей .

Спосіб 1 не працює. Метод 2 має надію залежно від того, як ви це зробите. Основні компоненти краще вводити у порядку зменшення, що пояснюється. Більш інтерпретованим підходом є створення змінної кластеризації, а потім зменшення кожного кластера до єдиної оцінки (не використовуючи Y), а потім підгонка до моделі з балами кластера.

У розділі 5 «Робота з даними з R» автор показує деякі способи вибору найбільш корисних прогнозів. (У контексті біоінформатики, де кожен зразок ряду містить 12 000+ стовпців!)

Він спочатку використовує деякі фільтри на основі статистичного розподілу. Наприклад, якщо у вас є півдесятка прогнозів, які мають аналогічне середнє значення і sd, ви можете піти, просто зберігаючи один з них.

Потім він показує, як використовувати випадковий ліс, щоб знайти, які з них є найбільш корисними прогнозами. Ось автономний абстрактний приклад. Ви можете бачити, що у мене є 5 хороших прогнозів, 5 поганих. Код показує, як просто тримати найкращі 3.

set.seed(99)

d=data.frame(
  y=c(1:20),
  x1=log(c(1:20)),
  x2=sample(1:100,20),
  x3=c(1:20)*c(11:30),
  x4=runif(20),
  x5=-c(1:20),
  x6=rnorm(20),
  x7=c(1:20),
  x8=rnorm(20,mean=100,sd=20),
  x9=jitter(c(1:20)),
  x10=jitter(rep(3.14,20))
  )

library(randomForest)
rf=randomForest(y~.,d,importance=T)
print(importance(rf))
#         %IncMSE IncNodePurity
# x1  12.19922383    130.094641
# x2  -1.90923082      6.455262
# ...

i=importance(rf)
best3=rownames(i)[order(i[,"%IncMSE"],decreasing=T)[1:3]]
print(best3)
#[1] "x1" "x5" "x9"

reduced_dataset=d[,c(best3,'y')]

Останній підхід автора - використання ієрархічного алгоритму кластеризації для кластеризації подібних предикторів у, скажімо, 30 груп. Якщо ви хочете 30 різноманітних прогнозів, то вибирайте один із кожної з цих 30 груп, випадковим чином.

Ось код, використовуючи ті самі вибіркові дані, що і вище, для вибору 3 з 10 стовпців:

library(Hmisc)
d_without_answer=d[,names(d)!='y']
vc=varclus(as.matrix(d_without_answer))
print(cutree(vc$hclust,3))
# x1  x2  x3  x4  x5  x6  x7  x8  x9 x10 
#  1   2   1   3   1   1   1   2   1   3 

Мої вибіркові дані взагалі не відповідають такому підходу, оскільки у мене є 5 хороших прогнозів і 5 - це лише шум. Якщо все 10 провісників були трохи корелюють з y, і мали хороший шанс стати ще краще , коли використовуються разом (що цілком можливо , у фінансовій сфері), то це може бути хорошим підходом.

Ви можете розглянути можливість використання методу типу LASSO, який регулює найменші квадрати, вибираючи рішення, що мінімізує одну норму вектора параметрів. Виявляється, це на практиці впливає на мінімізацію кількості ненульових записів у векторі параметрів. Хоча LASSO є популярним у деяких статистичних колах, багато інших споріднених методів розглядаються у світі компресійного зондування.