Чи CCA між двома однаковими наборами даних еквівалентний PCA на цьому наборі даних?

Читаючи Вікіпедію про канонічний кореляційний аналіз (CCA) для двох випадкових векторів і , мені було цікаво, чи головний компонентний анліз (PCA) такий, як CCA, коли ? $X$ $Y$ $X=Y$

pca multivariate-analysis canonical-correlation

— Тім
джерело

Будь ласка, уточнюйте: 1) vectors X and Yце дві змінні (стовпці даних) або два випадки (рядки); враховуючи, що ми будемо проводити аналіз змінних. 2) X and Y are the sameВи хотіли сказати, що X = Y або будь-який інший шлях?

— ttnphns

@ttnphns: 1) і - два випадкові вектори. Вони являють собою два вектори випадкових змінних, два набори стовпців даних, а не два випадки (рядки). 2) .

X

$X$

Y

$Y$

X = Y

$X=Y$

— Тім

Якщо кожен набір складається з однієї змінної, існує одна канонічна кореляція, яка є саме Пірсоном r між ними; а CCA стає лінійною регресією X на Y і навпаки. Декомпозиція цього r за допомогою PCA - трохи інша історія. PCA і CCA - це різні аналізи.

— ttnphns

Привіт, @Tim, мені цікаво, чи корисна моя відповідь чи, можливо, у вас все ще є додаткові запитання? Якщо так, я би радий уточнити.

— амеба

@amoeba: Так, так і є. Зараз у мене немає запитань, і відповідь я прочитаю пізніше. Дякую за вашу відповідь. + 1

— Тім

Нехай - а - матриць даних, що представляють два набори даних із вибірками (тобто спостереження за вашими випадковими векторами рядків та ) у кожному з них. $\bf X$ $n\times p_1$ $\bf Y$ $n \times p_2$ $n$ $X$ $Y$

CCA шукає лінійну комбінацію змінних у та лінійну комбінацію змінних у таким чином, щоб вони були максимально співвіднесені між собою; тоді вона шукає наступну пару, під обмеженням нульової кореляції з першою парою; тощо. $p_1$ $\bf X$ $p_2$ $\bf Y$

У випадку (і ) будь-яка лінійна комбінація в одному наборі даних тривіально має кореляцію з тією ж лінійною комбінацією в іншому наборі даних. Отже, всі пари CCA матимуть кореляції , а порядок пар довільний. Єдине обмеження, що залишається, полягає в тому, що лінійні комбінації повинні бути неспорідненими між собою. Існує нескінченна кількість способів вибору неспоріднених лінійних комбінацій (зауважте, що ваги не повинні бути ортогональними в -вимірному просторі), і будь-який з них дасть дійсне рішення CCA. Один із таких способів дійсно дається PCA, оскільки будь-які два ПК мають нульову кореляцію. $\mathbf{X} = \mathbf{Y}$ $p_1=p_2 = p$ $1$ $1$ $p$ $p$

Таким чином, рішення PCA дійсно буде дійсним рішенням CCA, але в цьому випадку існує нескінченна кількість не менш хороших рішень CCA.

Математично CCA шукає правий ( ) і лівий ( ) сингулярні вектори , що в цьому випадку дорівнює , при цьому будь-який вектор є власним вектором. Отже може бути довільним. Потім CCA отримує лінійні комбіновані ваги як і . У цьому випадку воно зводиться до прийняття довільної основи і перетворення його в , що справді дасть некорельовані напрямки . $\mathbf a$ $\mathbf b$ $\mathbf C_{XX}^{-1/2} \mathbf C_{XY} \mathbf C_{YY}^{-1/2}$ $\mathbf I$ $\mathbf a=\mathbf b$ $\mathbf C_{XX}^{-1/2} \mathbf a$ $\mathbf C_{YY}^{-1/2} \mathbf b$ $\mathbf C_{XX}^{-1/2}$

— амеби
джерело