Що може призвести до того, що PCA погіршить результати класифікатора?

У мене є класифікатор, на якому я роблю перехресну перевірку, разом із сотнею функцій, на які я роблю вибір вперед для пошуку оптимальних комбінацій функцій. Я також порівнюю це з тими ж експериментами з PCA, де я використовую потенційні функції, застосовую SVD, перетворюю вихідні сигнали на новий простір координат і використовую функції в моєму процесі вибору вперед.$k$

Моя інтуїція полягала в тому, що PCA покращить результати, оскільки сигнали будуть більш "інформативними", ніж оригінальні функції. Чи моє наївне розуміння PCA призводить мене до неприємностей? Чи може хтось запропонувати деякі поширені причини, чому PCA може покращити результати в одних ситуаціях, а погіршити їх в інших?

Розглянемо простий випадок, знятий із приголомшливої ​​та заниженої статті "Примітка про використання основних компонентів у регресії" .

Припустимо, у вас є лише дві (масштабовані та відменені) ознаки, позначайте їх і x 2 з позитивною кореляцією, рівною 0,5, вирівняною у X , і третьою змінною відповіді Y, яку ви хочете класифікувати. Припустимо, що класифікація Y повністю визначається знаком x 1 - x 2 .$x_1$$x_2$$X$$Y$$Y$$x_1 - x_2$

Виконання PCA на дає нові (упорядковані за дисперсією) функції [ x 1 + x 2 , x 1 - x 2 ] , оскільки Var ( x 1 + x 2 ) = 1 + 1 + 2 ρ > Var ( x 1 - х 2 ) = 2 - 2 $X$$[x_1 + x_2, x_1 - x_2]$$\operatorname{Var}( x_1 + x_2 ) = 1 + 1 + 2\rho > \operatorname{Var}(x_1 - x_2 ) = 2 - 2\rho$. Отже, якщо ви зменшите розмірність до 1, тобто першого основного компонента, ви кидаєте точне рішення вашої класифікації!

Проблема виникає тому , що РСА є агностиком в . На жаль, не можна також включати Y до PCA, оскільки це призведе до витоку даних.$Y$$Y$

Витік даних - це коли ваша матриця побудована за допомогою відповідних цільових предикторів, отже, будь-які прогнози поза вибіркою будуть неможливими.$X$

Наприклад: у фінансових часових рядах намагання передбачити закриття європейського кінця дня, яке відбувається в 11:00 ранку EST, використовуючи американські закриття кінця дня, о 16:00 за EST, - це витік даних з моменту закриття американця , які трапляються через години, включили ціни європейських закупівель.

Існує просте геометричне пояснення. Спробуйте наступний приклад у R та нагадайте, що перший головний компонент максимізує дисперсію.

library(ggplot2)

n <- 400
z <- matrix(rnorm(n * 2), nrow = n, ncol = 2)
y <- sample(c(-1,1), size = n, replace = TRUE)

# PCA helps
df.good <- data.frame(
    y = as.factor(y), 
    x = z + tcrossprod(y, c(10, 0))
)
qplot(x.1, x.2, data = df.good, color = y) + coord_equal()

# PCA hurts
df.bad <- data.frame(
    y = as.factor(y), 
    x = z %*% diag(c(10, 1), 2, 2) + tcrossprod(y, c(0, 8))
)
qplot(x.1, x.2, data = df.bad, color = y) + coord_equal()

PCA допомагає

Напрямок максимальної дисперсії горизонтальний, а класи розділені горизонтально.

PCA Hurts

Напрямок максимальної дисперсії горизонтальний, але класи розділені вертикально

PCA лінійний, боляче, коли ви хочете бачити нелінійні залежності.

PCA на зображеннях у вигляді векторів:

Нелінійний алгоритм (NLDR), який зменшив зображення до 2 вимірів, обертання та масштабу:

Більше інформації: http://en.wikipedia.org/wiki/Nonlinear_dim dimenity_reduction

Я бачу, що питання вже має прийняту відповідь, але хотів поділитися цим документом, в якому йдеться про використання PCA для трансформації функцій перед класифікацією .

Повідомлення додому (яке красиво візуалізується у відповіді @ vqv):

Аналіз основних компонентів (PCA) заснований на вилученні осей, на яких дані показують найбільшу мінливість. Хоча PCA "поширює" дані на новій основі і може бути корисною у навчанні без нагляду, немає гарантії того, що нові осі узгоджуються з дискримінаційними ознаками в (контрольованій) проблемі класифікації.

Для тих, хто цікавиться, якщо подивитися на Розділ 4. Експериментальні результати , вони порівнюють точність класифікації з 1) оригінальними ознаками, 2) перетвореними PCA функціями та 3) поєднанням обох, що було для мене новим.

Мій висновок:

Перетворення функцій на основі PCA дозволяють узагальнити інформацію з великої кількості ознак у обмежену кількість компонентів, тобто лінійні комбінації вихідних ознак. Однак основні компоненти часто важко інтерпретувати (не інтуїтивно зрозуміло), і як показують емпіричні результати у цій роботі, вони, як правило, не покращують результати класифікації.

PS: Я зауважу, що одним із обмежень статті, яка могла бути перерахована, було те, що автори обмежили оцінку ефективності класифікаторів лише «нарахуванням», що може бути дуже упередженим показником ефективності.

$x_1,x_2,x_3$$y$$x_3=y$

$y$$x_3$

$x_1$$x_2$$x_3$$y$