Скажімо, у нас є проблема бінарної класифікації з переважно категоричними ознаками. Ми використовуємо деяку нелінійну модель (наприклад, XGBoost або Random Forests), щоб дізнатися її.
Відповіді:
Мультиколінеарність не буде проблемою для певних моделей. Наприклад, випадковий ліс або дерево рішень. Наприклад, якщо у нас є два однакових стовпця, дерево рішень / випадковий ліс автоматично "скидає" один стовпець на кожен розкол. І модель все одно буде добре працювати.
Крім того, регуляризація - це спосіб "виправити" проблему мультиколінеарності. Моя відповідь Методи регуляризації логістичної регресії дають деталі.
Пізно до партії, але ось все одно моя відповідь, і це "Так", завжди слід піклуватися про колінеарність, незалежно від того, модель / метод є лінійною чи ні, або головне завдання - передбачення чи класифікація.
Припустимо ряд лінійно корельованих коваріатів / особливостей, присутніх у наборі даних та у випадковому лісі як метод. Очевидно, що випадковий вибір на вузол може вибирати лише (або здебільшого) колінеарні ознаки, що може / призведе до поганого розбиття, і це може відбуватися повторно, що негативно впливає на продуктивність.
Тепер колінеарні ознаки можуть бути менш інформативними щодо результату, ніж інші (неколінеарні) ознаки, і як такі їх слід розглядати для усунення з набору ознак у будь-якому разі. Однак припустимо, що функції в рейтингу "важливості функції", що виробляється РФ, займають високе місце. Як такі вони зберігатимуться в наборі даних без необхідності збільшуючи розмірність. Отже, на практиці я завжди в ході дослідницького кроку (з багатьох пов'язаних) перевіряв попарну асоціацію ознак, включаючи лінійну кореляцію.
Якщо нелінійна модель - це деревова модель, то ви не повинні вважати це серйозним. У різних моделях дерев буде різний метод угоди, наприклад, випадковий ліс утримуватиме їх обох (оскільки вони будують дерево самостійно, а випадковий вибір функції для кожного дерева), але це не впливає на ефективність прогнозування, навіть якщо ви видалите зайвий. Але для xgboost він вибере когось із них і використовуватиме його до останнього побудови дерева.
Йдеться лише про значення інтерпретації, тому пропонується видалити сильно кореляційну змінну.
Мультиколінеарність - це завжди можлива проблема. Змінні, які є предикторами в моделі, впливатимуть на прогнозування, коли вони лінійно пов'язані (тобто коли присутня колінеарність).