Чи є компоненти PCA багатоваріантних даних Гаусса статистично незалежними?

Чи є компоненти PCA (в основному аналізі компонентів) статистично незалежними, якщо наші дані багатоваріантні, як правило, розподіляються? Якщо так, то як це можна продемонструвати / довести?

Я запитую, тому що я побачив цей пост , де у верхній відповіді зазначено:

PCA не робить явного припущення про гауссів. Він знаходить власні вектори, які максимізують дисперсію, пояснену в даних. Ортогональність основних компонентів означає, що він знаходить найбільш некорельовані компоненти, щоб пояснити якомога більше варіацій даних. Для багатоваріантних гауссових розподілів нульова кореляція між компонентами передбачає незалежність, що не стосується більшості розподілів.

Відповідь висловлюється без доказів і, мабуть, означає, що PCA виробляє незалежні компоненти, якщо дані є багатоваріантними нормальними.

Скажімо, наші дані - це зразки:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

ми поміщаємо $n$ зразків $\mathbf{x}$ у рядки нашої матриці зразків $\mathbf{X}$ , тому $\mathbf{X}$ дорівнює $n \times m$ . Обчислення SVD $\mathbf{X}$ (після центрування) дає вихід

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Чи можна сказати, що стовпці $\mathbf{U}$ є статистично незалежними, також тоді рядки $\mathbf{V}^T$ ? Це правда взагалі, лише для $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ , чи взагалі не відповідає дійсності?

pca independence svd

— рахунок_е
джерело

stats.stackexchange.com/q/110508/3277 - подібне питання.

— ttnphns

Я не бачу, як ПК можна, можливо, вважати "статистично незалежними" в більш ніж одному вимірі. Зрештою, за визначенням кожен з них є ортогональним для всіх інших; ця функціональна залежність створює дуже сильну статистичну залежність.

— whuber

@amoeba Я сподіваюся , що я послідовно ясно, а також вірним на питання, який я знаходжу , щоб бути чітко сформульовані і однозначні: оскільки дані

є випадковими, так що всі записи в

. Я застосував до них визначення статистичної незалежності. Це все. Ваша проблема полягає в тому, що ви вживаєте слово "некорельований" у двох дуже різних сенсах, не здаючись, усвідомлюючи це: завдяки тому, як побудовані стовпці

, вони геометрично ортогональні як вектори в , але вони ні означає незалежні випадкові вектори!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— whuber

@amoeba Ви праві - моделювання досить переконливо показує, що кореляція може бути (сильно) ненульовою. Однак я не заперечую, що "компоненти PCA є некорельованими" у значенні "кореляція" = "ортогональна", і не кажу, що будь-який конкретний підручник є невірним. Я занепокоєний тим, що таке твердження, правильно зрозуміле, настільки не має значення для питання, що все, що він може (і зробив), викликає велику плутанину в сучасному контексті.

— whuber

@whuber, я впевнений, що ти з нетерпінням чекав ще одного видання моєї відповіді! Ось. Я явно визнати свої пункти про залежність, і зробити заяву , що стовпці

є асимптотично незалежні, як мій основний точки. Тут "асимптотично" позначається число

спостережень (рядків). Я дуже сподіваюся, що ми зможемо з цим погодитися! Я також стверджую, що для будь-якого розумного

, наприклад

, залежність між стовпцями "практично не має значення". Напевно, це є більш суперечливим моментом, але я намагаюся зробити це у своїй відповіді досить точно.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— амеба каже, що поверніть Моніку

Почну з інтуїтивної демонстрації.

Я генерував спостережень (а) від сильно негаусського 2D-розподілу та (b) від 2D-гауссового розподілу. В обох випадках я сконцентрував дані та провів сингулярне розкладання значення . Тоді для кожного випадку я зробив графік розкидання перших двох стовпців , один проти іншого. Зауважте, що зазвичай стовпці називають "основними компонентами" (ПК); стовпці це ПК, які масштабуються, щоб мати одиничну норму; до сих пір, в цій відповіді я зосереджуся на шпальтах . Ось сюжетні схеми: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

Я думаю, що такі твердження, як "компоненти PCA некорельовані" або "компоненти PCA залежні / незалежні", зазвичай робляться приблизно про одну конкретну вибіркову матрицю і посилаються на кореляції / залежності в рядках (див. Наприклад , відповідь @ ttnphns тут ). PCA дає матрицю перетворених даних , де рядки - це спостереження, а стовпці - змінні ПК. Тобто ми можемо бачити як зразок і запитати, яка співвідношення вибірки між змінними ПК. Ця вибіркова кореляційна матриця, звичайно, задається $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ , що означає, що вибіркові співвідношення між змінними ПК дорівнюють нулю. Це те, що люди мають на увазі, коли кажуть, що "PCA діагоналізує коваріаційну матрицю" тощо.

Висновок 1: у координатах PCA будь-які дані мають нульову кореляцію.

Це справедливо для обох розсіювачів вище. Однак відразу очевидно, що дві змінні ПК і зліва (не гауссова) розсіювача не є незалежними; незважаючи на те, що вони мають нульову кореляцію, вони сильно залежні і насправді пов'язані a . І дійсно, добре відомо, що некорельований не означає незалежний . $x$ $y$ $y\approx a(x-b)^2$

Навпаки, дві комп'ютерні змінні і праворуч (гауссова) розсіювач здаються "майже незалежними". Обчислення взаємної інформації між ними (що є мірою статистичної залежності: незалежні змінні мають нульову взаємну інформацію) за будь-яким стандартним алгоритмом дасть значення, дуже близьке до нуля. Це не буде рівно нульовим, оскільки він ніколи не буде абсолютно нульовим для будь-якого кінцевого розміру вибірки (якщо тільки не налаштовано); крім того, існують різні методи обчислення взаємної інформації двох вибірок, даючи дещо різні відповіді. Але ми можемо очікувати, що будь-який метод дасть оцінку взаємної інформації, яка дуже близька до нуля. $x$ $y$

Висновок 2: у координатах PCA дані Гаусса "майже незалежні", тобто стандартні оцінки залежності будуть приблизно нульовими.

Питання, однак, є більш складним, про що свідчить довгий ланцюжок коментарів. Дійсно, @whuber справедливо вказує, що змінні PCA і (стовпці ) повинні бути статистично залежними: стовпці повинні бути одиничної довжини і повинні бути ортогональними, і це вводить залежність. Наприклад, якщо деяке значення в першому стовпчику дорівнює , то відповідне значення у другому стовпчику повинно бути . $x$ $y$ $\mathbf U$ $1$ $0$

Це правда, але це практично актуально для дуже малих , наприклад, наприклад, (при після центрування є лише один ПК). Для будь-якого розумного розміру вибірки, такого як показаного на моїй фігурі вище, ефект залежності буде незначним; стовпці це (масштабовані) проекції даних Гаусса, тому вони також є гауссовими, що робить практично неможливим, щоб одне значення було близьким до (для цього потрібно, щоб усі інші елементів були близькими до , що навряд чи розподіл Гаусса). $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Висновок 3: строго кажучи, для будь-яких кінцевих даних Гаусса в координатах PCA залежать; однак ця залежність практично не має значення для будь-якого . $n$ $n\gg 1$

Ми можемо зробити це точно, розглядаючи, що відбувається в межі . У межі нескінченного розміру вибірки матриця коваріації вибірки дорівнює матриці коваріації населення . Таким чином , якщо вектор даних вибірка з , то змінні є ПК (де і $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ є власними значеннями та власними векторами ) та . Тобто змінні ПК походять від багатоваріантного гаусса з діагональною коваріацією. Але будь-який багатоваріантний гаусс з діагональною матрицею коваріації розкладається на продукт одновимірних гауссів, і це визначення статистичної незалежності : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Висновок 4: асимптотично ( ) ПК-змінні гауссових даних статистично незалежні як випадкові величини, а вибіркова взаємна інформація дасть значення сукупності нулю. $n \to \infty$

Слід зазначити, що це питання можна зрозуміти по-різному (див. Коментарі @whuber): розглянути всю матрицю випадковою змінною (отриманою з випадкової матриці за допомогою конкретної операції) і запитати, чи є якісь два конкретні елементи і з двох різних стовпців статистично незалежні в різних розіграшах . Ми дослідили це питання в цій пізнішій темі . $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Ось усі чотири проміжні висновки зверху:

У координатах PCA будь-які дані мають нульову кореляцію.
У координатах PCA дані Гаусса "майже незалежні", тобто стандартні оцінки залежності становитимуть нуль.
Strictly speaking, for any finite $n$ , Gaussian data in PCA coordinates are dependent; however, this dependency is practically irrelevant for any $n\gg 1$ .
Asymptotically ( $n \to \infty$ ) PC variables of Gaussian data are statistically independent as random variables, and sample mutual information will give the population value zero.

— amoeba says Reinstate Monica
джерело

You write "However, if the data are multivariate Gaussian, then they are indeed independent". 'They' being the principal components, and their coefficients? What do you mean by PCA diagonalizes the covariance matrix? Thank you for your response!

— bill_e

"They" refers to principal components (which are projections of the data on the directions of maximal variance). PCA looks for directions of maximal variance; turns out that these directions are given by the eigenvectors of the covariance matrix. If you change the coordinates to the "PCA coordinates", then the covariance matrix will be diagonal, that is how eigendecomposition works. Equivalently, matrix

S

$S$ in the SVD from your question is a diagonal matrix. Also, matrix

U

$U$ is orthogonal, meaning that its covariance matrix is diagonal. All of that means that PCs have correlation zero.

— amoeba says Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

— bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

— amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

— bill_e