Міра "дисперсії" від матриці коваріації?

Якщо дані дорівнюють 1d, дисперсія показує, наскільки точки даних відрізняються одна від одної. Якщо дані багатовимірні, ми отримаємо матрицю коваріації.

Чи є міра, яка дає єдине число того, чим точки даних відрізняються взагалі для багатовимірних даних?

Я вважаю, що може бути вже багато рішень, але я не впевнений, що правильно використовувати їх для пошуку.

Можливо, я можу зробити щось на кшталт додавання власних значень матриці коваріації, чи це звучить розумно?

(Відповідь нижче лише вводить і констатує теорему, доведену в роботі [0]. Краса в цій роботі полягає в тому, що більшість аргументів викладені з точки зору основної лінійної алгебри. Для відповіді на це питання достатньо вказати основні результати, але загалом, перейдіть на перевірку першоджерела).

У будь-якій ситуації, коли багатоваріантний малюнок даних може бути описаний еліптичним розподілом змінної , статистичний висновок за визначенням зводиться до проблеми примірності (та характеристики) вектора розташування k змінних (скажімо, θ ) і k до k симетрична напівпозитивна визначена матриця (скажімо Σ ) до даних. З причин, які я пояснюю нижче (але які ви вже вважаєте за приміщення), часто буде більш доцільним розкласти Σ на компонент фігури (SPSD-матриця такого ж розміру, як Σ ), враховуючи форму контурів щільності вашого багатофакторного розподілу і скаляр σ $k$$k$$\boldsymbol\theta$$k$$k$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\sigma_S$ виражаючи масштаб цих контурів.

У одновимірних даних ( ), Σ , матриця коваріації ваших даних є скалярною, і, як випливатиме з обговорення нижче, компонент форми Σ дорівнює 1, так що Σ дорівнює його масштабній складовій Σ = σ S завжди і ніякої неоднозначності неможливо.$k=1$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma=\sigma_S$

У багатовимірних даних можливе багато варіантів масштабування функцій Один зокрема ( σ S = | $\sigma_S$ ) виділяється ключовою бажаною власністю. Це повинно зробити його кращим вибором коефіцієнта масштабування в контексті еліптичних сімей.$\sigma_S=|\pmb\varSigma|^{1/k}$

---

Багато проблем статистики МВ передбачають оцінку матриці розсіювання, визначеної як функція (al) симетричного напівпозитивного у R k × k і задовольняє:$\boldsymbol\varSigma$$\mathbb{R}^{k\times k}$

(для не сингулярних матриць A і векторів b ). Наприклад, класична оцінка коваріації задовольняє (0), але вона аж ніяк не єдина.

$$(0)\quad\boldsymbol\varSigma(\boldsymbol A\boldsymbol X+\boldsymbol b)=\boldsymbol A\boldsymbol\varSigma(\boldsymbol X)\boldsymbol A^\top$$ $\boldsymbol A$$\boldsymbol b$

За наявності еліптичних розподілених даних, де всі контури щільності є еліпсами, визначеними однаковою матрицею форми, аж до множення на скаляр, природно розглядати нормовані версії форми:$\boldsymbol\varSigma$

$$\boldsymbol V_S = \boldsymbol\varSigma / S(\boldsymbol\varSigma)$$

де - 1-гоногенна функція, що задовольняє:$S$

$$(1)\quad S(\lambda \boldsymbol\varSigma)=\lambda S(\boldsymbol\varSigma)$$

для всіх . Потім, V S називається форма компонент матриці розсіювання (в короткій матриці форми) і σ S = S 1 / 2 ( Σ ) називається масштабний компонент матриці розсіювання. Приклади задач багатоваріантної оцінки, коли функція втрат залежить лише від Σ через компонент форми V S, включають тести сферичності, PCA та CCA серед інших.$\lambda>0$$\boldsymbol V_S$$\sigma_S=S^{1/2}(\boldsymbol\varSigma)$$\boldsymbol\varSigma$$\boldsymbol V_S$

Звичайно, існує багато можливих функцій масштабування, тому це все ще залишає відкритим питання про те, що (якщо є) з декількох варіантів функції нормалізації в деякому сенсі є оптимальним. Наприклад:$S$

• (наприклад, той, який запропонував @amoeba у своєму коментарі під питанням про ОП. Див. Також [1], [2], [3])$S=\text{tr}(\boldsymbol\varSigma)/k$
• ([4], [5], [6], [7], [8])$S=|\boldsymbol\varSigma|^{1/k}$
• (перший запис матриці коваріації)$\boldsymbol\varSigma_{11}$
• (перше власне значення Σ )$\lambda_1(\boldsymbol\varSigma)$$\boldsymbol\varSigma$

Однак - єдина функція масштабування, для якої матриця інформації Фішера для відповідних оцінок масштабу та форми в локально асимптотично нормальних сімействах є діагональною блоком (тобто компоненти масштабу та форми задачі оцінки є асимптотично ортогональними) [0 ]. Це означає, серед іншого, що масштаб функціональний S = | Σ | 1 / K є єдиним вибором з S , для яких не специфікація сг S не викликає якийсь - або втрати ефективності при виконанні на висновок V S .$S=|\boldsymbol\varSigma|^{1/k}$$S=|\boldsymbol\varSigma|^{1/k}$$S$$\sigma_S$$\boldsymbol V_S$

Я не знаю жодної порівняно сильної характеристики оптимальності для будь-якого з безлічі можливих варіантів які задовольняють (1).$S$

• [0] Paindaveine, D., Канонічне визначення форми, Статистика та ймовірнісні листи, Том 78, Випуск 14, 1 жовтня 2008 р., Сторінки 2240-2247. Необ’єднане посилання
• [1] Дамбген, Л. (1998). Про М-функціонал Тайлера розсіювання у високих розмірах, Енн. Інст. Статист. Математика. 50, 471–491.
• [2] Ollila, E., TP Hettmansperger, H. Oja (2004). Афіні еквівалентні багатоваріантні знакові методи. Препринт, Університет Юваскіла.
• [3] Тайлер, DE (1983). Властивості стійкості та ефективності матриць розсіювання, Biometrika 70, 411–420.
• [4] Дамбген, Л. та Д.Є. Тайлер (2005). Про властивості розбиття деяких багатоваріантних M-функціоналів, Scand. J. Statist. 32, 247–264.
• [5] Холлін, М. та Д. Пейндавейн (2008). Оптимальні рангові тести на однорідність розсіювання, Енн. Статист., З'являтися.
• [6] Салібіян-Баррера, М., С. Ван Аельст і Г. Віллемс (200 6). Аналіз основних компонентів на основі багатоваріантних ММ-оцінок із швидким та надійним завантажувальним пристроєм, Дж. Амер. Статист. Доц. 101, 1198–1211.
• [7] Таскінен, С., К. Крю, А. Канкайнен, Е. Олліла та Х. О дже (2006). Функції впливу та ефективність канонічної кореляції та векторних оцінок на основі матриць розсіювання та форми, Ж. Багатоваріантний анал. 97, 359–384.
• [8] Тацуока, К. С. та Д.Є. Тайлер (2000). Про унікальність S-функціоналів та М-функціоналів при ненеліптичних розподілах, Енн. Статист. 28, 1219–1243.

Дисперсія скалярної змінної визначається як квадратичне відхилення змінної від її середнього:

$$\operatorname{Var}(X) = \operatorname E\left[\left(X - \operatorname E\left[X\right]\right)^2\right]$$

Одне узагальнення до скалярної дисперсії для випадкових величин, що оцінюються векторними, можна отримати, інтерпретуючи відхилення як евклідову відстань :

$$\operatorname{Var_s}(\mathbf X) = \operatorname E\left[\left\|\mathbf X - \operatorname E\left[\mathbf X\right]\right\|_2^2\right]$$

Цей вираз можна переписати як

$$\begin{array}{rcl} \operatorname{Var_s}(\mathbf X) & = & \operatorname E[(\mathbf X - \operatorname E[\mathbf X ])\cdot(\mathbf X - \operatorname E[\mathbf X ])] \\ & = & \operatorname E\left[\sum_{i=1}^n(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname E\left[(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname{Var}(X_i) \\ & = & \sum_{i=1}^n C_{ii} \end{array}$$

де - матриця коваріації. Нарешті, це можна спростити$\mathbf{C}$

$$\operatorname{Var_s}(X) = \operatorname{tr}(\mathbf{C})$$

що є слідом коваріаційної матриці.

Хоча слід матриці коваріації, tr (C) , дає міру загальної дисперсії, вона не враховує кореляцію між змінними.

Якщо вам потрібна міра загальної дисперсії, яка велика, коли ваші змінні незалежні одна від одної, і дуже мала, коли змінні сильно корелюються, ви можете використовувати визначник матриці коваріації, | C | .

Будь ласка, дивіться цю статтю для кращого роз'яснення.

Якщо вам потрібно лише одне число, то я пропоную найбільше власне значення коваріаційної матриці. Це також є поясненою дисперсією першого основного компонента в PCA. Він говорить вам, скільки сумарної дисперсії можна пояснити, якщо зменшити розмірність вектора до одиниці. Дивіться цю відповідь на математиці SE.

Ідея полягає в тому, що ви згортаєте вектор на лише один вимір, поєднуючи всі змінні лінійно в одну серію. У вас виникає проблема 1d.

Пояснену дисперсію можна повідомити у% до загальної дисперсії. У цьому випадку ви відразу побачите, чи існує велика лінійна кореляція між серіями. У деяких програмах це число може бути 80% і вище, наприклад, моделювання кривої процентних ставок у фінансах. Це означає, що ви можете побудувати лінійну комбінацію змінних, яка пояснює 80 варіабельності всіх змінних.

Концепція ентропії з теорії інформації, схоже, відповідає цілі, як міра непередбачуваності інформаційного змісту, яку задає

$$H(X)=-\int p(x)\log p(x) dx.$$

Якщо припустити багатоваріантний розподіл Гаусса для $p(x)$ із середнім значенням $\mu$ та коваріації $\Sigma$Отримані з даних, згідно з Вікіпедією , диференціальна ентропія є,

$$H(X)=\frac{1}{2}\log((2\pi e)^n\det(\Sigma))$$ де $n$- кількість розмірів. З тих пірmultivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

І це залежить від визначника матриці коваріації, як пропонує @ user603.