Пов'язується для кореляції трьох випадкових величин

28

Існують три випадкові величини, . Три кореляції між трьома змінними однакові. Це є, $x,y,z$

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

Яку найзручнішу межу ви можете дати $\rho$ ?

correlation correlation-matrix

— user1352399
джерело

1

Імовірно, під "фо", ви маєте на увазі rho ( ). Однак ваше питання не зрозуміло. Що ви маєте на увазі під «Якою найсміливішою межею ви можете дати»?

ρ

$\rho$

— gung - Відновіть Моніку

Ну а назва змінної - це просто манекен. Під найтяжчою межею я маю на увазі щось на зразок [-1, 1] для кореляції, але це явно не є найбільш жорсткою межею.

— користувач1352399

Ви маєте на увазі, що rho = cor (x, y) = cor (x, z) = cor (y, z), і які обмеження для rho?

— user31264

Так, я маю на увазі, що rho = cor (x, y) = cor (x, z) = cor (y, z) і які обмеження для rho. Діліп, чи можете ви продовжити це, щоб сказати, що rho повинен бути негативним, тобто> = 0?

— користувач1352399

1

Навчальний посібник, на який посилаються на це, є Seber & Lee "Лінійний регресійний аналіз" (принаймні, це було в першому виданні ...)

— kjetil b halvorsen

29

Загальна кореляція може мати значення але не . Якщо , то не може дорівнювати але насправді дорівнює . Найменше значення спільної кореляції трьох випадкових величин . Більш загальним є мінімальне спільне співвідношення випадкових величин коли, розглядаються як вектори, вони знаходяться у вершинах симплексу (розмірності ) у -вимірному просторі. $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ $-\frac{1}{2}$ $n$ $-\frac{1}{n-1}$ $n-1$ $n$

Розглянемо дисперсію суми одиничних дисперсійних випадкових величин . Ми маємо, що де - середнє значення значення з коефіцієнтів кореляції. Але оскільки , ми легко отримуємо з що $n$ $X_i$

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

Отже, середнє значення коефіцієнта кореляції принаймні . Якщо всі коефіцієнти кореляції мають однакове значення , то їх середнє значення також дорівнює і тому у нас є Чи можливі випадкові величини, для яких загальне значення кореляції дорівнює ? Так. Припустимо, що є некорельованими випадковими змінними одиничних дисперсій і встановлюють . Тоді , а $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ та даючи Таким чином, - випадкові величини, що досягають мінімального загального значення кореляції . Зауважимо, до речі, що , і так, розглядаються як вектори, випадкові змінні лежать у -вимірній гіперплощині

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ -вимірний простір.

— Діліп Сарват
джерело

25

Найбільш щільна межа - . $-1/2 \le \rho \le 1$ Усі такі значення можуть насправді з’являтися - жодне неможливо.

Щоб показати, що немає нічого особливо глибокого чи загадкового щодо результату, ця відповідь спочатку представляє цілком елементарне рішення, вимагаючи лише очевидного факту, що відхилення - будучи очікуваними значеннями квадратів - повинні бути негативними. Далі йде загальне рішення (яке використовує дещо складніші алгебраїчні факти).

Елементарне рішення

Варіантність будь-якої лінійної комбінації повинна бути негативною. $x,y,z$ Нехай варіації цих змінних будуть та відповідно. Усі є ненульовими (бо в іншому випадку деякі кореляції не були б визначені). Використовуючи основні властивості дисперсій, ми можемо обчислити $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

для всіх реальних чисел . $(\alpha, \beta, \gamma)$

Якщо припустити, що " , невелика алгебраїчна маніпуляція означає, що це еквівалентно $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

Термін у правій частині квадрата - це відношення двох засобів живлення . Елементарна потужність середнього нерівності (з вагами ) стверджує , що ставлення не може перевищувати (і дорівнюватиме , коли ). Потім випливає трохи більше алгебри $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

Ясний приклад нижче (за участю триваріантних нормальних змінних ) показує, що всі такі значення, , насправді виникають як кореляції. У цьому прикладі використовується лише визначення багатовимірних нормалей, але в іншому випадку не викликається результатів обчислення чи лінійної алгебри. $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

Загальне рішення

Огляд

Будь-яка матриця кореляції - це матриця коваріації стандартизованих випадкових величин, звідки - як і всі кореляційні матриці - вона повинна бути позитивною напіввизначеною. Рівнозначно, його власні значення є негативними. Це накладає на просту умову : вона не повинна бути менше (і, звичайно, не може перевищувати ). З іншого боку , будь-яка така фактично відповідає кореляційної матриці деякого розподілу trivariate, що доводять ці межі стислі можливо. $\rho$ $-1/2$ $1$ $\rho$

Виведення умов на $\rho$

Розглянемо кореляційну матрицю на зі всіма значеннями, що не мають діагоналі, рівними(Питання стосується випадку але це узагальнення важче проаналізувати.) Назвемо це За визначенням, - це власне значення за умови, що існує ненульовий вектор такий, що $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

Ці власні значення в цьому випадку легко знайти, оскільки

Нехай , обчисли, що $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
Нехай з лише в місці (для ), обчисли це $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

Оскільки знайдених на сьогодні власних векторів охоплюють повний розмірний простір (доказ: легке скорочення рядків показує абсолютне значення їх детермінантного рівня, що дорівнює , яке є ненульовим), вони складають основу всіх власних векторів. Тому ми знайшли всі власні значення і визначили, що вони або або (останні з кратністю ). Окрім загальновідомої нерівності задоволеної всіма кореляціями, додатково випливає негативність першого власного значення $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

тоді як негативність другого власного значення не наводить нових умов.

Доказ достатності умов

Імплементація працює в обох напрямках: за умови матриця невід'ємно визначена і тому є допустимою кореляційною матрицею. Наприклад, це кореляційна матриця для багатонармального розподілу. Зокрема, пишіть $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

для зворотного коли Наприклад, коли $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

Нехай вектор випадкових змінних має функцію розподілу $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

де . Наприклад, при це дорівнює $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

Кореляційна матриця для цих випадкових величин - $n$ $\mathbb{C}(\rho, n).$

Малюнок

Контури функцій щільності Зліва направо, . Зверніть увагу, як щільність зміщується від концентрованої біля площини до концентрації поблизу лінії . $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

Спеціальні випадки та також можуть бути реалізовані шляхом вироджених розподілів; Я не буду вникати в деталі, крім того, щоб зазначити, що в першому випадку розподіл можна вважати підтримуваним на гіперплані , де це сума однаково розподілених середніх значень- Нормальний розподіл, тоді як в останньому випадку (ідеальна позитивна кореляція) він підтримується на лінії, породженій , де він має середнє значення - Нормальний розподіл. $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

Детальніше про невиродження

Огляд цього аналізу дає зрозуміти, що кореляційна матриця має ранг і має ранг з (тому що тільки один власний вектор має нульове власне значення). Для це робить матрицю кореляції виродженою в будь-якому випадку. В іншому випадку, існування його зворотного доводить, що воно є невиродженим. $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— дзижчати
джерело

20

Ваша кореляційна матриця є

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

Матриця є позитивною напівкінцевою, якщо всі головні неповнолітні неповнолітні всі - негативні. Основні неповнолітні - це детермінанти блоків "північний захід" матриці, тобто 1, детермінанта

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

і детермінанта самої кореляційної матриці.

1 очевидно позитивний, другий головний мінор - , що не заперечує жодної допустимої кореляції . Визначальним фактором всієї кореляційної матриці є $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

На графіку показано визначник функції за діапазоном допустимих кореляцій . $[-1,1]$ введіть тут опис зображення

Ви бачите, що функція не є негативною для діапазону, заданого @stochazesthai (що ви також можете перевірити, знайшовши корені детермінантного рівняння).

— Крістоф Ганк
джерело

Чи не вважаємо ми у вашій відповіді, що ? Чому ми можемо?

V a r () = 1

$Var( )=1$

— Старий чоловік у морі.

1

@Anold Ви, здається, читаєте "коваріацію", де пишеться "кореляція".

— whuber

6

Існують випадкові величини , і з попарними кореляціями тоді і лише тоді, коли матриця кореляції є позитивною напівкінцевою. Це трапляється лише для . $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— стохазестаї
джерело

2

чи можете ви пояснити це дуже простими словами.

— Елізабет Сьюзен Джозеф

1

Я не думаю, що існує пояснення, яке не потребує знання матричної алгебри. Я пропоную вам переглянути сторінку Wikipedia ( en.wikipedia.org/wiki/… ).

— stochazesthai

4

Я знайшов пояснення, що вимагає лише базової алгебри (середній рівень), і включив це у свою відповідь.