Як інтерпретувати матрицю зворотної коваріації чи точності?

64

Мені було цікаво, чи може хтось вказати мені на деякі посилання, які обговорюють інтерпретацію елементів зворотної коваріаційної матриці, також відомих як матриця концентрації або матриця точності.

Я маю доступ до багатоваріантних залежностей Кокса і Вермута , але те, що я шукаю, - це інтерпретація кожного елемента у зворотній матриці. У Вікіпедії зазначено : "Елементи матриці точності мають інтерпретацію з точки зору часткових кореляцій та часткових дисперсій", що веде мене до цієї сторінки. Чи є інтерпретація без використання лінійної регресії? IE, з точки зору коваріацій чи геометрії?

interpretation covariance-matrix

— Він Нгуен
джерело

4

ви читали всю сторінку Вікіпедії? Існує розділ про геометрію та про умовну незалежність для нормального розподілу. Більше ви можете знайти в цій книзі .

— NRH

@NRH Геометрія пояснюється на сторінці часткової кореляції, що я навіть не впевнений, як це стосується матриці концентрації. Чи є у цій книзі графічних моделей пояснення елементів матриці концентрації? Дякую!

— Vinh Nguyen

див. відповідь нижче.

— NRH

2

Див. Також Чому інверсія коваріаційної матриці дає часткові кореляції між випадковими змінними?

— Амеба повідомляє Відновити Моніку

34

В основному можна сказати дві речі. Перший полягає в тому, що якщо подивитися на щільність багатоваріантного нормального розподілу (середнє значення 0 тут), вона пропорційна де - обернена матриця коваріації, яка також називається точністю. Ця матриця позитивно визначена і визначає з допомогою в скалярний твір на . Отримана геометрія, яка надає конкретного значення поняттю ортогональності та визначає норму, пов’язану з нормальним розподілом, є важливою, і щоб зрозуміти, наприклад, геометричний зміст LDA, який потрібно переглядати речі у світлі заданої геометрії по

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$ .

Інше, що слід сказати, це те, що часткові кореляції можна читати безпосередньо з , дивіться тут . Ця ж сторінка Вікіпедії дає, що часткові кореляції, а отже, записи , мають геометричну інтерпретацію з точки зору косинуса до кута. Що, мабуть, важливіше в контексті часткових кореляцій, це те, що часткова кореляція між і дорівнює 0, якщо і лише тоді, якщо запис в дорівнює нулю. Для нормального розподілу змінні та потім умовно незалежні $P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ з урахуванням всіх інших змінних. Це те, про що йдеться у книзі Steffens, про яку я згадував у коментарі вище. Умовна незалежність та графічні моделі. Він має досить повне лікування нормального розподілу, але це може бути не таким простим.

— NRH
джерело

1

Вибачте, я трохи заплутався у формулі Вікіпедії для часткової кореляції; Я бачив кілька реалізацій, які приймають (зі знаком мінус). Ви впевнені, що формула Вікіпедії правильна?

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

— Шельон

1

@ Sh3ljohn, ти абсолютно прав. У формулі Вікіпедії відсутній мінус.

— NRH

Чи не перша відповідь насправді говорить більше про інформацію про Фішера, ніж про матрицю точності? Я маю на увазі, що вони збігаються в справді спеціальному / приємному гауссовому випадку, але вони загалом не збігаються. Очевидно, що ці два поняття пов'язані між собою (нижня межа Крамера-Рао, асимптотичний розподіл MLE тощо), але це не здається корисним їх поєднувати (конкретно я прийшов до цього питання, шукаючи його питання про те, як розрізняти інформацію про Фішера та матриця зворотної кореляції).

— Chill2Macht

24

Мені подобається ця ймовірнісна графічна модель, яка ілюструє точку NRH, що часткова кореляція дорівнює нулю, якщо і лише тоді, коли X умовно незалежна від Y, заданого Z, з припущенням, що всі включені змінні є багатоваріантними гауссовими (властивість не має місце в загальному випадку) :

введіть тут опис зображення

( - випадкові величини Гаусса; ігнорують T і k) $y_i$

Джерело: Розмова Девіда Маккея про основи процесу Гаусса , 25-а хвилина.

— Франк Дернонкур
джерело

12

Інтерпретація, заснована на часткових кореляціях, мабуть, є найбільш статистично корисною, оскільки стосується всіх багатовимірних розподілів. У спеціальному випадку багатоваріантного нормального розподілу нульова часткова кореляція відповідає умовної незалежності.

Ви можете отримати цю інтерпретацію, використовуючи доповнення Щура, щоб отримати формулу для записів концентраційної матриці з точки зору записів коваріаційної матриці. Дивіться http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

— vqv
джерело

11

Коваріаційна матриця може представляти співвідношення між усіма змінними, тоді як зворотна коваріація, обумовлює відношення елемента з сусідами (як сказала у Вікіпедії часткове / парне відношення).

Наступний приклад я запозичую тут у 24:10, уявіть, що 5 мас з'єднані між собою і голосують навколо 6-ти пружин, коваріаційна матриця міститиме кореляцію всіх мас, якщо одна піде правильно, а інші також можуть піти правильно. але матриця зворотної коваріації вказує на відношення тих мас, які з'єднані тією ж пружиною (сусідами), і вона містить багато нулів і її не потрібний позитив.

— user4581
джерело

1

Де це пояснено у відео? Це довга година. Дякую!

— Vinh Nguyen

Ви маєте рацію, це о 24:10, я вважаю, що це найкращий приклад для розуміння природи матриці

— cov

5

Бар-Шалом та Фортман (1988) згадують про зворотну коваріацію в контексті фільтрації Кальмана так:

... [T] ось рекурсія для зворотної коваріації (або інформаційної матриці )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... Дійсно, повний набір рівнянь прогнозування та оновлення, відомий як фільтр інформації [8, 29, 142], може бути розроблений для зворотної коваріації та перетвореного вектора стану . $\mathbf{P}^{-1}\hat{\mathbf{x}}$

Книга індексується в Google .

— яскрава зірка
джерело