Відповідна міра для пошуку найменшої матриці коваріації

У підручнику, який я читаю, вони використовують позитивну визначеність (напівпозитивна визначеність) для порівняння двох матриць коваріації. Ідея полягає в тому , що якщо має полідисперсність , то менше , ніж . Але я намагаюся отримати інтуїцію цих стосунків? $A-B$ $B$ $A$

Тут є подібна нитка:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Яка інтуїція використовувати визначеність для порівняння матриць?

Хоча відповіді приємні, вони насправді не стосуються інтуїції.

Ось приклад, який я вважаю заплутаним:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

тепер тут визначальником різниці є -25, тому відношення не pd або навіть psd і тому перша матриця не більша за першу?

Я просто хочу порівняти дві коваріаційні матриці 3 * 3, щоб побачити, яка найменша? Мені здасться більш інтуїтивним використовувати щось подібне до евклідової норми для їх порівняння? Однак це означатиме, що перша матриця вище є більшою, ніж друга. Крім того, я коли-небудь бачу критерій pd / psd, який використовується для порівняння матриць коваріації.

Чи може хтось пояснити, чому pd / psd краще, ніж використовувати інший захід, наприклад, евклідова норма?

Я також розмістив це питання на математичному форумі (не був впевнений, що найкраще) сподіваюся, що це не суперечить жодним правилам.

/math/628135/comparing-two-covariance-matrices

— Баз
джерело

Ви можете прочитати це, де розглядається інтуїція, що стоїть за позитивною (напів) визначеністю. Якщо ви порівнюєте 2 відхилення aі b, якщо a-bє позитивними, то ми б сказали, що при видаленні змінності bпоза aнею залишається деяка "реальна" мінливість a. Аналогічним чином є випадок багатоваріантних дисперсій (= коваріаційних матриць) Aта B. Якщо A-Bпозитивно визначено, то це означає, що A-Bконфігурація векторів є "справжньою" в евклідовому просторі: іншими словами, після вилучення Bз Aних останній залишається життєздатною мінливістю.

— ttnphns

Що ви маєте на увазі під "найменшим" з двох коваріаційних матриць?

— whuber

Привіт, але коваріаційні матриці стосуються конкуруючих оцінок, я хочу вибрати оцінювач, який має найменшу дисперсію. (Чи пояснює це речі?)

— Баз

Баз: Тоді чому б безпосередньо не порівняти дисперсії оцінювачів?

— Glen_b -Встановіть Моніку

Привіт там встановлений метод, наводиться вираз для того, що вони називають дисперсією (яка включає коваріації). Однак, навіть якби я порівнював лише відхилення, це все одно включатиме порівняння векторних значень, які матимуть подібні проблеми зі порівнянням матричних значень?

— Баз

Відповіді:

Упорядкування матриць, на які ви посилаєтесь, відоме як порядок Лоенера і є частковим порядком, який багато використовується в дослідженні позитивних певних матриць. Книга довжина обробка геометрії на різноманітті позитивно певних (posdef) матриць тут .

Спершу спробую вирішити ваше питання щодо інтуїції . (Симетрична) матриця є posdef, якщо для всіх . Якщо - випадкова величина (rv) з коваріаційною матрицею , то є (пропорційною) її проекцією на деякий однотемний підпростір, а . Застосовуючи це до у вашому Q, по-перше: це матриця коваріації, друге: Випадкова величина з коварною матрицею проектується у всіх напрямках з меншою дисперсією, ніж rv з матрицею коваріації $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ $A$ . Це дає зрозуміти, що це впорядкування може бути лише частковим, є багато rv, які проектуватимуться в різних напрямках із надзвичайно різними варіаціями. Ваша пропозиція про якусь норму Евкліда не має такого природного статистичного тлумачення.

Ваш "заплутаний приклад" є заплутаним, оскільки обидві матриці мають визначальний нуль. Отже, для кожного з них є один напрямок (власний вектор з власним значенням нуля), де вони завжди проектуються на нуль . Але цей напрямок є різним для двох матриць, тому їх неможливо порівняти.

Порядок Лоенера визначається таким чином, що , є більш позитивним, ніж , якщо є posdef. Це частковий порядок, для деяких матриць posdef ні ні є posdef. Приклад: Один із способів показуючи це графічно, малює графік з двома еліпсами, але зосередженим біля початку, асоційованим стандартним чином з матрицями (тоді радіальна відстань у кожному напрямку пропорційна дисперсії, що виступає в цьому напрямку): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

У цьому випадку два еліпси збігаються, але обертаються по-різному (насправді кут становить 45 градусів). Це відповідає тому, що матриці і мають однакові власні значення, але власні вектори обертаються. $A$ $B$

Оскільки ця відповідь багато в чому залежить від властивостей еліпсів, наступна Яка інтуїція стоїть за умовними розподілами Гаусса? пояснення еліпсів геометрично, може бути корисним.

Зараз я поясню, як визначаються еліпси, пов'язані з матрицями. Матриця posdef визначає квадратичну форму . Це можна побудувати як функцію, графік буде квадратичним. Якщо то графік завжди буде вище графіка . Якщо ми виріжемо графіки горизонтальною площиною на висоті 1, то надрізи описують еліпси (це насправді спосіб визначення еліпсів). Цей еліпс задається рівнянням і ми бачимо, що $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$ відповідає еліпсу B (тепер з інтер'єром) міститься в межах еліпса А. Якщо не буде порядку, не буде стримування. Ми зауважуємо, що порядок включення протилежний частковому порядку Лоунера, якщо нам не подобається, що ми можемо намалювати еліпси інверсів. Це тому, що еквівалентний . Але я залишатимуся з еліпсами, як тут визначено.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Еліпс можна описати за допомогою півфіксів та їх довжини. Ми обговоримо лише -матриці тут, оскільки вони є тими, які ми можемо намалювати ... Тому нам потрібні дві головні осі та їх довжина. Це можна знайти, як пояснено тут з ейгендекомпозицією матриці posdef. Тоді головні осі задаються власними векторами, а їх довжина може бути обчислена із власних значень по Також ми можемо побачити, що область еліпса, що представляє є . $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Наведу останній приклад, де можна замовити матриці:

Дві матриці в цьому випадку були:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
джерело

@kjetil b halvorsen приємно обговорює геометричну інтуїцію за позитивною напіввизначеністю як часткове впорядкування. Я дозволю собі більш тую інтуїцію. Такий, який виходить із того, які типи обчислень ви б хотіли зробити з вашими дисперсійними матрицями.

Припустимо, у вас є дві випадкові величини і . Якщо вони є скалярами, то ми можемо обчислити їх відхилення як скаляри та порівняти їх очевидним чином, використовуючи скалярні дійсні числа та . Отже, якщо і , ми говоримо, що випадкова величина має меншу дисперсію, ніж . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

З іншого боку, якщо і є векторними значеннями випадкових величин (скажімо, вони двовекторні), то як ми порівнюємо їх відхилення, не так очевидно. Скажіть, що їх відхилення: Як порівняємо дисперсії цих двох випадкових векторів? Одне, що ми могли б зробити, - це лише порівняти дисперсії відповідних елементів. Отже, ми можемо сказати, що дисперсія менша, ніж дисперсія , лише порівнявши дійсні числа, наприклад: і $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ . Отже, можливо, ми могли б сказати, що дисперсія дорівнює дисперсії якщо дисперсія кожного елемента є дисперсією відповідного елемента . Це було б так, як сказати якщо кожен з діагональних елементів є відповідним діагональним елементом .

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Це визначення здається розумним спочатку рум'янцем. Крім того, поки матриці дисперсії, які ми розглядаємо, є діагональними (тобто всі коваріації дорівнюють 0), це те саме, що використовувати напіввизначеність. Тобто, якщо відхилення виглядатимуть як то кажучи - позитивно-напіввизначене (тобто ) - це точно те саме, що говорити і . Все здається гарним, поки ми не запровадимо коваріації. Розглянемо цей приклад:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Тепер, використовуючи порівняння, яке враховує лише діагоналі, ми би сказали , і, дійсно, досі вірно, що елемент за елементом . Що може почати нас турбувати, це те, що якщо ми обчислимо деяку зважену суму елементів векторів, наприклад та , то ми стикаємося з тим, що навіть якщо ми говоримо .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

Це дивно, правда? Коли і є скалярами, то гарантує, що для будь-яких фіксованих, невипадкових , . $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

Якщо з будь-якої причини нас цікавлять лінійні комбінації елементів випадкових змінних на кшталт цієї, то, можливо, ми хочемо посилити наше визначення для дисперсійних матриць. Можливо, ми хочемо сказати якщо і тільки якщо це правда, що , незалежно від того, які фіксовані числа та ми виберемо. Зауважте, це більш сильне визначення, ніж визначення, яке стосується лише діагоналей, оскільки якщо ми вибираємо воно говорить , а якщо ми вибираємо воно говорить . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Це друге визначення, те, що говорить тоді і тільки тоді, коли для кожного можливого нерухомого вектора , є звичайним методом порівняння дисперсії матриці на основі позитивної : Подивіться на останній вираз та визначення додатного напіввизначеного, щоб побачити, що визначення для дисперсійних матриць вибрано саме так, щоб гарантувати, що тоді і тільки тоді, коли для будь-якого вибору , тобто коли є позитивною напів -дефініт. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Отже, відповідь на ваше запитання полягає в тому, що люди кажуть, що дисперсійна матриця є меншою, ніж дисперсійна матриця якщо позитивно напіввизначена, оскільки їм цікаво порівняти дисперсії лінійних комбінацій елементів базових випадкових векторів. Яке визначення вибираєте, випливає з того, що вам цікаво в обчисленні, і як це визначення допомагає вам у цих розрахунках. $V$ $W$ $W-V$

— Білл
джерело