Чи є сума і добуток двох матриць коваріації також матрицею коваріації?

12

Припустимо , у мене є ковариационной матриці $X$ і $Y$ . Які з цих варіантів є також коваріаційними матрицями?

$X+Y$
$X^2$
$XY$

У мене є проблеми з розумінням того, що саме потрібно, щоб щось було коваріаційною матрицею. Я припускаю, що мається на увазі, що, наприклад, якщо $X=\operatorname{cov}(X_1,X_2)$ і $Y=\operatorname{cov}(Y_1,Y_2)$ що для 1, щоб це було правдою, у нас повинен бути цей $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ , де $Z_1$ і $Z_2$ - деякі інші випадкові величини. Однак я не можу зрозуміти, чому це справедливо для будь-якого з трьох варіантів. Будь-яке розуміння буде підтверджено.

covariance covariance-matrix

— об / хв
джерело

12

Фон

Коваріаційна матриця для вектора випадкових змінних являє собою процедуру обчислення дисперсії будь-якої лінійної комбінації цих випадкових величин. Правило полягає в тому, що для будь-якого вектора коефіцієнтів , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Вар (λ Х) = λ А λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

Іншими словами, правила множення матриць описують правила дисперсій.

Дві властивості є безпосередніми і очевидними: $\mathbb{A}$

Оскільки відхилення - це очікування квадратних значень, вони ніколи не можуть бути негативними. Таким чином, для всіх векторів , Матриці коваріації повинні бути невід'ємними-визначеними. $\lambda$
$0 \leq Вар (λ Х) = λ А λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Варіанти - це просто числа - або, якщо ви читаєте матричні формули буквально, це матриці . Таким чином, вони не змінюються, коли ви їх переводите. Транспонування дає Оскільки це справедливо для всіх , $1\times 1$ $(1)$
$λ А λ^{'} = Вар (λ Х) = Вар (λ Х)^{'} = {(λ А λ^{'})}^{'} = λ А^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ повинна дорівнювати його транспозиції : матриці коваріації повинні бути симетричними. $\mathbb{A}^\prime$

Більш глибокий результат полягає в тому, що будь-яка невід'ємно-визначена симетрична матриця є матрицею коваріації. $\mathbb{A}$ Це означає, що насправді існує деяка векторна значення випадкової величини з як її коваріації. Ми можемо продемонструвати це шляхом явного побудови . Один із способів - помітити, що функція (багатоваріантної) щільності з властивостей $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

журнал (f) \propto - \frac{1}{2} (х_{1}, \dots, х_{н}) А^{- 1} (х_{1}, \dots, х_{н})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Рішення

$\mathbb{X}$ $\mathbb{Y}$

Сума.
- $(Х + Y)^{'} = Х^{'} + Y^{'} = (Х + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- $\lambda$ $λ (Х + Y) λ^{'} = λ Х λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Я залишаю це як вправу.
$2\times 2$
$(\begin{matrix} а & б \\ б & а \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $Х = (\begin{matrix} а & - 1 \\ - 1 & а \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ $Y = (\begin{matrix} б & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
$\mathbb{XY}$ $a$ $b$

— дзижчати
джерело

13

Справжня матриця - це матриця коваріації тоді і лише тоді, коли вона є симетричною позитивною напіввизначеністю.

Підказки:

$X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

$X$ $X^2$ $X$ $X^2$

$X$ $Y$ $XY$

— Марк Л. Стоун
джерело