Чому матриця коваріації вибірки є сингулярною, коли розмір вибірки менше числа змінних?

30

Скажімо, у мене $p$ -вимірне багатовимірне гауссове розподіл. І я беру $n$ спостереження (кожен з них $p$ -векторних) від цього розподілу і обчислити зразок ковариационной матриці $S$ . У цій роботі автори констатують, що матриця коваріації вибірки, обчислена з $p > n$ є сингулярною.

Як це правда чи похідне?
Будь-які пояснення?

covariance-matrix linear-algebra

— користувач34790
джерело

4

Зауважте, що це дійсно незалежно від основного розподілу: він не повинен бути гауссом.

— Амеба каже: Відновити Моніку

22

Деякі факти про матричні ранги, пропоновані без доказів (але докази всіх або майже всіх вони повинні бути надані в стандартних текстах лінійної алгебри, або в деяких випадках встановлені як вправи після надання достатньої кількості інформації, щоб мати можливість це зробити):

Якщо $A$ і $B$ - дві сумісні матриці, то:

(i) рядок стовпця $A$ = рядок рядка $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) якщо $B$ - квадратна матриця повного рангу, то $\text{rank}(AB) = \text{rank}(A)$

Розглянемо матрицю зразкових даних, . З вищесказаного ранг становить щонайбільше . $n\times p$ $y$ $y$ $\min(n,p)$

Далі, з вищезазначеного чітко ранг не буде більшим за ранг (якщо врахувати обчислення у матричній формі, можливо, з деяким спрощенням). $S$ $y$ $S$

Якщо то в такому випадку . $n<p$ $\text{rank}(y)<p$ $\text{rank}(S)<p$

— Glen_b -Встановити Моніку
джерело

приємна відповідь! Не зовсім зрозуміло, однак, як y і S співвідносяться з A і B?

— Матифу

S обчислюється з у; ("x" у початковій публікації). Ви можете використовувати факти про y та маніпуляції, зроблені на ньому (за допомогою вищезазначених правил), щоб встановити обмеження на ранг S. Ролі, які грають A і B, змінюються від кроку до кроку.

— Glen_b -Встановити Моніку

14

Коротка відповідь на ваше запитання - це ранг . Отже, якщо , то є одниною. $(S) \le n - 1$ $p > n$ $S$

Для більш детальної відповіді нагадаємо, що (неупереджена) матриця коваріації вибірки може бути записана як

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T} .

$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$

Ефективно ми підсумовуємо матриць, кожна з яких має ранг 1. Якщо припустити, що спостереження лінійно незалежні, у певному сенсі кожне спостереження вносить 1 у ранг , а 1 віднімається з рангу (якщо ) тому що ми зосереджуємо кожне спостереження за . Однак якщо в спостереженнях присутня мультиколінеарність , то ранг може бути знижений, що пояснює, чому ранг може бути меншим за . $n$ $x_i$ $(S)$ $p > n$ $\bar{x}$ $(S)$ $n - 1$

Велика кількість робіт була спрямована на вивчення цієї проблеми. Наприклад, мій колега написав документ на цю ж тему, де нам було цікаво визначити, як діяти, якщо є сингулярним при застосуванні до лінійного дискримінантного аналізу в налаштуваннях . $S$ $p \gg n$

— ramhiser
джерело

4

Чи можете ви, будь ласка, детальніше розібратися, $\bar x$ чому віднімаємо 1, оскільки ми зосереджуємо кожне спостереження за ?

— авокадо

@loganecolss: Див. Чому ранг коваріаційної матриці не більше ?

n - 1

$n−1$ для відповіді на ваше запитання.

— Амеба каже, що повернеться Моніка

Гарна відповідь! Може, можна просто додати пояснення / посилання на те, що твердження, яке ми підсумовуємо 𝑛 матриці, кожна з яких має ранг 1 ? Спасибі!

— Матифу

10

Коли ви дивитесь на ситуацію правильним шляхом, висновок є інтуїтивно зрозумілим та негайним.

Цей пост пропонує дві демонстрації. Перший, одразу нижче, - на словах. Він еквівалентний простому малюнку, з'являється в самому кінці. Між ними - пояснення того, що означають слова та малюнок.

Матриця коваріації для варіантних спостережень - це матриця обчислена шляхом лівого множення матриці (переглянуті дані) шляхом її переміщення . Цей добуток матриць посилає вектори через трубопровід векторних просторів, у яких розміри і . Отже, матриця коваріації, ква лінійне перетворення, посилає у підпростір, розмірність якого не більше . Одразу ж ранг коваріаційної матриці не перевищує . Отже, якщо $n$ $p$ $p\times p$ $\mathbb{X}_{np}$ $\mathbb{X}_{pn}^\prime$ $p$ $n$ $\mathbb{R}^n$ $\min(p,n)$ $\min(p,n)$ $p\gt n$ то ранг не більше , що - будучи строго меншим за - означає матрицю коваріації є сингулярною. $n$ $p$

Вся ця термінологія повністю пояснена в решті цього посту.

(Як доброзичливо зазначив Амеба у видаленому коментарі та показує у відповіді на відповідне запитання , зображення насправді лежить у підпросторі кодування-один (складається з векторів, чиї складові дорівнюють нулю), оскільки всі його стовпці були переглянуті на нуль, тому ранг вибіркової коваріаційної матриці не може перевищувати ) $\mathbb X$ $\mathbb{R}^n$ $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ $n-1$

Лінійна алгебра стосується відстеження розмірів векторних просторів. Потрібно лише оцінити кілька фундаментальних концепцій, щоб мати глибоку інтуїцію тверджень про ранг та особливості:

Матричне множення являє собою лінійні перетворення векторів. An матриці є лінійне перетворення з - мірного простору до - вимірному просторі . Зокрема, він надсилає будь-які до . Те, що це лінійне перетворення, випливає безпосередньо з визначення лінійного перетворення та основних арифметичних властивостей множення матриць. $m\times n$ $\mathbb{M}$ $n$ $V^n$ $m$ $V^m$ $x\in V^n$ $\mathbb{M}x = y \in V^m$
Лінійні перетворення ніколи не можуть збільшувати розміри. Це означає, що зображення всього векторного простору при перетворенні (що є підвекторним простором ) може мати розмір не більше . Це (легка) теорема, яка випливає з визначення розмірності. $V^n$ $\mathbb M$ $V^m$ $n$
Розмір будь-якого субвекторного простору не може перевищувати розміру простору, в якому він лежить. Це теорема, але знову це очевидно і легко довести.
Оцінка лінійного перетворення є розмірність його образу. Ранг матриці - це ранг лінійної трансформації, яку вона представляє. Це визначення.
Сингулярним матриця має ранг строго менше $\mathbb{M}_{mn}$ $n$ (розмірність своєї області). Іншими словами, його зображення має менший вимір. Це визначення.

Розвивати інтуїцію, це допомагає бачити розміри. Тому я напишу розміри всіх векторів і матриць відразу після них, як у і . Таким чином, загальна формула $\mathbb{M}_{mn}$ $x_n$

y_{m} = M_{m n} x_{n}

$y_m = \mathbb{M}_{mn} x_n$

Мається на увазі, що матриця при застосуванні до вектора виробляє -вектор . $m\times n$ $\mathbb M$ $n$ $x$ $m$ $y$

Продукти матриць можна розглядати як "трубопровід" лінійних перетворень. В загальному, припустимо , що є - мірний вектор в результаті послідовних застосувань лінійних перетворень і до вектора йде з простору . Це приймає вектор послідовно через набір векторних просторів розмірів і, нарешті, . $y_a$ $a$ $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ $\mathbb{A}_{ab}$ $n$ $x_n$ $V^n$ $x_n$ $m, l, \ldots, c, b,$ $a$

Подивіться на вузьке місце : оскільки розміри не можуть збільшуватися (точка 2), а підпростори не можуть мати розміри, більші за проміжки, в яких вони лежать (точка 3), випливає, що розмірність зображення не може перевищувати найменшого розміру зустрічаються в трубопроводі. $V^n$ $\min(a,b,c,\ldots,l,m,n)$

Тоді ця діаграма конвеєра повністю доводить результат, коли він застосовується до продукту : $\mathbb{X}^\prime \mathbb{X}$

— дзижчати
джерело