Чому дорівнює матриця коваріації максимум

Як зазначено в цьому питанні, максимальний ранг коваріаційної матриці дорівнює де - розмір вибірки, і тому, якщо розмірність матриці коваріації дорівнює розміру вибірки, вона буде єдиною. Я не можу зрозуміти, чому ми віднімаємо від максимального рангу коваріаційної матриці. $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— user3070752
джерело

Щоб отримати інтуїцію, подумайте про

n = 2

$n=2$ бали в 3D. Яка розмірність підпростори, в якій лежать ці точки? Чи можете ви їх розмістити на лінії (1D підпростір)? Або вам потрібен літак (2D підпростір)?

— амеба каже, що повернеться до Моніки

Отже, ви розумієте, що

n = 2

$n=2$ призводить до коваріаційної матриці рангу 1? Гаразд, візьмемо

n = 3

$n=3$ бали. Чи можете ви бачити, що ви завжди можете розмістити їх на 2D площині?

— амеба каже, що повернеться до Моніки

@amoeba ваш приклад був зрозумілий, але я не можу зрозуміти, який взаємозв'язок між примірною гіперплощиною у вашому прикладі та матрицею коваріації?

— користувач3070752

Вибачте за затримку;)

— користувач3070752

Відповіді:

Об'єктивний оцінювач вибіркової коваріантної матриці, заданий $n$ точками даних $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ є де- середнє значення по всіх точках. Позначимояк.

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

коефіцієнт не змінює ранг, і кожен доданок у сумі має (за визначенням) ранг

, тому суть питання полягає в наступному:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Чому є ранг а не ранг , як здавалося б, тому що ми підсумовуємо матриць рангів- ? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Відповідь - це відбувається тому, що не є незалежними. За побудовою . Отже, якщо ви знаєте з , то остання остаточно визначається; ми не підсумовуємо незалежних ранг матриць, ми підсумовуємо лише незалежну ранг - матрицю, а потім додаємо ще одну матрицю рангу - , повністю лінійно визначену рештою. Останнє доповнення не змінює загального рангу. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Це ми можемо побачити безпосередньо, якщо переписати як а тепер підключити його до вищенаведеного виразу: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

$\frac{1}{n-1}$ $\frac{1}{n}$

$n-1$ $\bar \x$

— Амеба каже Відновити Моніку
джерело

Трохи коротше, я вважаю, пояснення виглядає так:

$n$ $m$ $x$ $n$ $m$

$x$ $min(n,m)$

$n$ $m$ $z$

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Мікель
джерело