PCA та випадкові ліси

Для нещодавнього змагання Kaggle я (вручну) визначив 10 додаткових функцій для мого навчального набору, які потім будуть використовуватися для тренування випадкового класифікатора лісів. Я вирішив запустити PCA на набір даних з новими функціями, щоб побачити, як вони порівнюють один одного. Я виявив, що ~ 98% дисперсії несе перший компонент (перший власний вектор). Потім я кілька разів тренував класифікатор, додаючи по черзі одну особливість і використовував перехресну перевірку та помилку RMS для порівняння якості класифікації. Я виявив, що класифікація покращується з кожною додатковою функцією, і що кінцевий результат (з усіма 10 новими функціями) був набагато кращим, ніж перший запуск з (скажімо) 2 ознаками.

• Зважаючи на те, що PCA стверджував, що ~ 98% дисперсії було в першому компоненті мого набору даних, чому якість класифікацій настільки покращилася?

• Чи справедливо це для інших класифікаторів? РЧ-шкала на декількох ядрах, тому тренуватись набагато швидше, ніж (скажімо, SVM).

• Що робити, якщо я перетворив набір даних у простір "PCA" і запустив класифікатор на перетвореному просторі. Як змінилися б мої результати?

Роблячи передбачувальне моделювання, ви намагаєтесь пояснити відхилення у відповіді, а не варіацію в характеристиках. Немає жодних підстав вважати, що набір більшої кількості варіантів функцій в єдину нову функцію охопить велику кількість прогнозної сили функцій в цілому.

Це часто пояснюється різницею між регресією основних компонентів замість часткових найменших квадратів.

Перший головний компонент - це лінійна комбінація всіх ваших особливостей. Той факт, що вона пояснює майже всю мінливість, просто означає, що більшість коефіцієнтів змінних у першому головному компоненті є значущими.

Тепер дерева класифікації, які ви генеруєте, теж трохи інші тварини. Вони виконують двійкові розбиття на постійні змінні, які найкраще розділяють категорії, які ви хочете класифікувати. Це не зовсім те саме, що знаходити ортогональні лінійні комбінації безперервних змінних, які дають напрям найбільшої дисперсії. Насправді ми нещодавно обговорювали статтю з резюме, де PCA використовували для кластерного аналізу, і автор (и) встановили, що існують ситуації, коли найкраще розділення виявляється не в перших кількох основних компонентах, а в останніх.