Чи не будуть сильно корельовані змінні у випадковій лісовій деформації точності та вибору ознак?

На моє розуміння, сильно корельовані змінні не спричинять проблем мультиколінеарності у випадковій лісовій моделі (Будь ласка, виправте мене, якщо я помиляюся). Однак, з іншого боку, якщо у мене буде занадто багато змінних, що містять подібну інформацію, чи буде вага цієї моделі занадто великою, ніж інші?

Наприклад, є два набори інформації (A, B) з однаковою силою прогнозування. Змінна , , ... всі містять інформацію A, і тільки Y містить інформацію B. Коли випадкові вибіркові величини будуть рости більшістю дерев на інформації A, і в результаті інформація B не повністю зафіксована?$X_1$$X_2$$X_{1000}$

Це правильно, але, отже, у більшості підвідборок, де була доступна змінна Y, це призведе до найкращого можливого розбиття.

Ви можете спробувати збільшити мтри, щоб переконатися, що це відбувається частіше.

Ви можете спробувати або рекурсивну кореляційну обрізку, тобто по черзі, щоб видалити одну з двох змінних, які разом мають найвищу кореляцію. Розумним порогом для припинення цієї обрізки може бути те, що будь-яка пара кореляцій (груша) нижче$R^2<.7$

Ви можете спробувати рекурсивну обрізку за зміною важливістю, тобто по черзі для видалення, наприклад, 20% з найменшою важливістю змінної. Спробуйте, наприклад, rfcv з пакету randomForest.

Ви можете спробувати декомпозицію / агрегацію зайвих змінних.

Стара нитка, але я не погоджуюсь із загальною заявою про те, що колінеарність не є проблемою для випадкових лісових моделей. Коли набір даних має дві (або більше) корельованих ознак, то з точки зору моделі, будь-яка з цих корельованих ознак може використовуватися як предиктор, не маючи конкретних переваг однієї над іншими.

Однак, коли один із них використовується, важливість інших значно знижується, оскільки фактично нечистота, яку вони можуть видалити, вже видаляється за першою ознакою.

Як наслідок, вони матимуть меншу важливість. Це не проблема, коли ми хочемо використовувати функцію вибору функцій для зменшення перевиконання, оскільки має сенс видалити функції, які здебільшого дублюються іншими функціями, але, інтерпретуючи дані , це може призвести до неправильного висновку, що однією зі змінних є сильний провісник, тоді як інші в одній групі неважливі, хоча насправді вони дуже близькі за своїми стосунками зі змінною відповіді.

Ефект від цього явища дещо зменшується завдяки випадковому вибору ознак при кожному створенні вузла, але загалом ефект не знімається повністю.

Вищенаведене здебільшого наводиться звідси: Вибір хороших функцій