Чи завжди матриця коваріації вибірки симетрична і позитивна?

33

При обчисленні коваріаційної матриці вибірки гарантується тоді отримання симетричної та визначеної позитивної матриці?

Наразі моя проблема має вибірку з 4600 векторів спостереження та 24 виміри.

sampling covariance

Для вибірки матриці коваріації я використовую формулу: де - кількість вибірок, а - середня вибірка.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Мортен

4

Це зазвичай називається "обчислення матриці коваріації вибірки", або "оцінка матриці коваріації", а не "вибірка матриці коваріації".

— Glen_b -Встановіть Моніку

1

Поширена ситуація, в якій матриця коваріації не є визначеною, коли 24 "розміри" записують склад суміші, який становить 100%.

— whuber

41

Для вибірки векторів , з , середній вектор вибірки і матриця зразкової коваріації дорівнює Для ненульового вектора , маємо Тому завжди позитивний напіввизначений . $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

Додаткова умова, щоб було позитивним, визначено нижче в коментарях Ваубера. Виходить так. $Q$

Визначте , для . Для будь-якого ненульового значення , дорівнює нулю, якщо і лише тоді, коли , для кожного . Припустимо, набір прольоти . Тоді є дійсні числа такі, що . Але тоді маємо , даючи, що , суперечність. Отже, якщо 'span , то $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ є позитивним певним . Ця умова еквівалентна . $\mathrm{rank} [z_1 \dots z_n] = k$

— Дзен
джерело

2

Мені подобається такий підхід, але я б порадив трохи дбати: не обов'язково є позитивним. (Необхідні та достатні) умови для цього описані в моєму коментарі до відповіді Костянтина.

Q

$Q$

— whuber

1

Оскільки ранг менший або дорівнює , умова може бути спрощена до рангу, рівного k.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— пропозиція не може відмовити

13

Правильна ковариационная матриця завжди симетрична і позитивно * підлозі * визначена.

Коваріація між двома змінними зазначається як . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

Це рівняння не змінюється, якщо ви переключите положення і . Отже, матриця повинна бути симетричною. $x$ $y$

Він також повинен бути позитивним * напів- * певним, тому що:

Ви завжди можете знайти перетворення змінних таким чином, що матриця коваріації стає діагональною. На діагоналі ви знаходите відхилення ваших перетворених змінних, які є нульовими або позитивними, легко помітити, що це робить позитивний перетворений матричний напівдефініт. Однак, оскільки визначення визначеності є інваріантним перетворенням, то випливає, що матриця коваріації є позитивною напівдефінітом у будь-якій обраній системі координат.

Коли ви оціните матрицю коваріації (тобто під час обчислення вашої вибіркової коваріації ) за формулою, яку ви вказали вище, вона буде непридатною. як і раніше бути симетричними. Це також повинно бути позитивним напівдефінітом (я думаю), тому що для кожного зразка pdf, що дає кожній вибірковій точці рівну ймовірність, зразок коваріації є його коваріацією (хтось, будь ласка, перевірте це), тому все, що зазначено вище, все ще застосовується.

— Костянтин Шуберт
джерело

1

PS: Я починаю думати, що це не ваше питання ...

— Костянтин Шуберт

Але якщо ви хочете знати, чи гарантує це ваш алгоритм вибірки, вам доведеться вказати, як ви здійснюєте вибірку.

— Костянтин Шуберт

1

Мортен, симетрія безпосередньо від формули. Щоб показати , вам потрібно встановити, що для будь-якого вектора . Але в разів перевищує суму (де , звідки - це сума = , яка - довжина квадрата вектора . Оскільки і сума квадратів ніколи не можуть бути негативними, , QED . Це також показує, що саме для цих векторів

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ які є ортогональними для всіх ( тобто , для всіх ). Коли проміжок , то і є визначеним.

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@Morten Інваріантність перетворень досить чітка, якщо ви розумієте множення матриць геометрично. Подумайте про свій вектор як про стрілку. Числа, що описують ваш вектор, змінюються за допомогою системи координат, але напрямок і довжина вектора не роблять. Тепер множення на матрицю означає, що ви змінюєте довжину та напрямок цієї стрілки, але знову ж таки ефект геометрично однаковий у кожній системі координат. Те саме відбувається зі скалярним твором: він визначається геометрично, а Геометрій є інваріантним перетворенням. Отже, ваше рівняння має однаковий результат у всіх системах.

— Костянтин Шуберт

1

@Morten Коли ви думаєте про координати, аргумент іде так: Коли - ваша матриця перетворення, тоді: з як перетворений вектор координат, , тому коли ви перетворюєте кожен елемент у рівняння , ви отримуєте , що дорівнює , і, оскільки A є ортогональним, - одинична матриця, і ми знову отримуємо , а це означає, що перетворене і неперетворене рівняння мають однаковий скалярний результат, тому їхні або обидва, і обидва не більше нуля.

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Костянтин Шуберт

0

Варіантно-коваріаційні матриці завжди симетричні, як це можна довести з фактичного рівняння для обчислення кожного члена зазначеної матриці.

Також матриці Variance-Covariance - це завжди квадратні матриці розміру n, де n - кількість змінних у вашому експерименті.

Власні вектори симетричних матриць завжди ортогональні.

За допомогою PCA ви визначаєте власні значення матриці, щоб побачити, чи зможете ви зменшити кількість змінних, використаних у вашому експерименті.

— GEN
джерело

1

Зауважте, генерал. Зверніть увагу, що ваше ім'я користувача, ідентифікатор та посилання на вашу сторінку користувача автоматично додаються до кожної публікації, яку ви створюєте, тому немає необхідності підписувати свої повідомлення.

— Антуан Вернет

3

Цю відповідь можна було б покращити, вирішивши питання позитивної визначеності

— Silverfish

Це насправді не відповідає на питання: це лише сукупність непідтримуваних тверджень, які можуть бути або не бути актуальними. Чи могли б ви переробити це таким чином, що показує, як відповіли на запитання та пояснює міркування?

— whuber

0

До приємного аргументу Дзен я додам наступне, що пояснює, чому ми часто кажемо, що коваріаційна матриця є позитивно визначеною, якщо . $n-1\geq k$

Якщо являють собою випадкову вибірку з безперервного розподілу ймовірностей , то майже напевно (в сенсі теорії ймовірностей) лінійно незалежні. Тепер, не є лінійно незалежними, оскільки $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ , але через те, щоє лінійно незалежними,як span. Якщо, вони також охоплюють. $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

На закінчення, якщо є випадковою вибіркою безперервного розподілу ймовірностей і , матриця коваріації є певною позитивною. $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
джерело

0

Для тих, хто не має математичного походження, як я, які не швидко вловлюють абстрактні математичні формули, це відпрацьований приклад відмінного варіанту для найбільш прийнятної відповіді. Матриця коваріації може бути отримана і іншими способами.

— Парикшит Бхінде
джерело

Чи можете ви пояснити, як ця електронна таблиця демонструє позитивну визначеність матриці коваріації?

— whuber

Це не. Мені важко було візуалізувати матрицю коваріації в її нотаційній формі. Тому я створив цей аркуш для себе і подумав, що він може комусь допомогти.

— Парикшит Бхінде

Потім відредагуйте його, щоб включити відповідь на запитання.

— whuber

Готово :) Дякую за пропозицію.

— Парикшит Бхінде

Питання в тому, "чи гарантовано тоді отримати симетричну і визначену позитивом матрицю?" Я не в змозі сприймати жоден елемент вашої публікації, який стосується цього, оскільки (1) він ніколи не ідентифікує коваріаційну матрицю; (2) вона не демонструє позитивної визначеності нічого.

— whuber