Заповнення кореляційної матриці 3x3: два коефіцієнти з трьох наведених

20

Мене це питання задали в інтерв'ю.

Скажімо, у нас є кореляційна матриця форми

[\begin{matrix} 1 & 0,6 & 0,8 \\ 0,6 & 1 & γ \\ 0,8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Мене попросили знайти значення гамми, враховуючи цю кореляційну матрицю.
Я думав, що я можу зробити щось із власними значеннями, оскільки вони повинні бути більшими або дорівнювати 0. (Матриця повинна бути позитивною напівфінішною) - але я не думаю, що такий підхід не дасть відповіді. Я пропускаю хитрість.

Не могли б ви надати підказку, щоб вирішити те саме?

pearson-r correlation-matrix

— новачок
джерело

Коментарі не для розширеного обговорення; ця розмова переміщена до чату .

— whuber

1

Пошук цього сайту привів безпосередньо до однієї з (декількох) тем, що містять відповідні формули: stats.stackexchange.com/questions/5747 . Існує також кілька корисних сюжетів у відповіді від felix s .

— whuber

21

Ми вже знаємо, що обмежена між Кореляційна матриця повинна бути позитивною напіввизначеною, а значить, її основні неповнолітні повинні бути невід'ємними $\gamma$ $[-1,1]$

Таким чином,

\begin{aligned} 1 (1 - γ^{2}) - 0,6 (0,6 - 0,8 γ) + 0,8 (0,6 γ - 0,8) & \geq 0 \\ - γ^{2} + 0,96 γ \geq 0 \\ ⟹ γ (γ - 0,96) \leq 0 і - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0,96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— правами
джерело

4

@novice Ви можете прочитати про критерій Сільвестра

— правда, зроблена

Чудова відповідь. Я додам наступне: Популярний спосіб отримання гамми - це спроба знайти гамму, яка призвела б до можливої кореляційної матриці найменшої ядерної норми (ака-ки-фан-норми), можливої при вирішенні вищезазначених рівнянь. Щоб дізнатись більше, подивіться "завершення матриці", "стиснення зондування" або ознайомтеся з цим звітом на тему bit.ly/2iwY1nW .

— Мустафа S Ейза

1

Щоб це було доказом, вам потрібен результат у іншому напрямку: якщо всі нетривіальні неповнолітні ведучі

а матриця має визначник

, то матриця є позитивною напівкінцевою.

> 0

$>0$

\geq 0

$\geq 0$

— Федеріко Полоні

10

Ось більш просте (і, можливо, більш інтуїтивне) рішення:

Подумайте про коваріацію як про внутрішній продукт над абстрактним векторним простором . Потім записи в кореляційної матриці для векторів , , , де кутові дужки позначає кут між і . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

Не важко уявити , що обмежена . Кордон його косинуса ( ), таким чином , . Тоді основна тригонометрія дає $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Змінити: Зверніть увагу , що в останньому рядку дійсно - друга поява 0,6 і 0,8 відбувається за збігом обставин завдяки $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ .

— янголь
джерело

1

+1, законне геометричне міркування (мовляв, я все ж не перевіряв ваші обчислення). Це саме те, що я запропонував у коментарях до цього питання (на жаль, всі коментарі модератором було переміщено до чату, дивіться посилання вище).

— ttnphns

Мені здається, ви "довели", що всі кореляції повинні бути негативними, оскільки, здається, ваш розрахунок завжди буде давати нуль для нижньої межі. Якщо це не так, то чи могли б ви детальніше розповісти про те, як працюють ваші обчислення в цілому? Я дійсно не довіряю - або, можливо, не розумію - вашої межі, тому що в трьох і більше вимірах ви завжди можете знайти

для якого обидва

а потім ваша межа означає, що

завжди дорівнює нулю! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— дзижчання

@whuber: Вибачте за плутанину. Розрахунок не завжди дає нуль для нижньої межі. Я змінив свою відповідь.

— янгол

Як ви відповідаєте на моє останнє занепокоєння? Схоже, це означає, що ваші межі невірні.

— whuber

@whuber: У вашому випадку ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, отже, пов'язане | ⟨v1, v2⟩ ± ⟨v1, v3⟩ | дорівнює [0, π], як очікувалося. Зв'язане cos⟨v1, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ на γ також працює як [-1, 1].

— янголь

4

Ось що я мав на увазі в своєму первинному коментарі до відповіді, і про те, що я сприймаю @yangle, можливо, йдеться про це (хоча я не слідкував / не перевіряв їх обчислення).

"Матриця повинна бути позитивною напівкінцевою" означає, що змінні вектори є зв'язком в евклідовому просторі. Випадок кореляційної матриці легший, ніж матриця коваріації, оскільки три довжини вектора фіксуються рівними 1. Уявіть 3 одиничні вектори XYZ і пам’ятайте, що - косинус кута . Отже, , а . Якими можуть бути межі для $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? Це співвідношення може приймати будь-яке значення, визначене Z, що описує Y (утримуючи з ним кут ): $r_{yz}=0.8$

Поки він обертається, дві позиції чудові як кінцевий wrt X, обидва - коли Z падає в площину XY. Один знаходиться між X і Y, а другий - з протилежного боку Y. Вони показані синім та червоним векторами. В обох цих положеннях саме конфігурація XYZ (кореляційна матриця) є сингулярною. І це мінімальний і максимальний кут (звідси кореляція) Z може досягати wrt X.

Підбираючи тригонометричну формулу для обчислення суми або різниці кутів на площині, маємо:

як межі. $\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

Цей геометричний вигляд - це лише інший (і конкретний і простіший у 3D випадку) погляд на те, що @rightskewed виражається алгебраїчними термінами (неповнолітні тощо).

— ttnphns
джерело

Якщо X, Y, Z є випадковими змінними, то як ви позначаєте їх на вектори в 3d просторі (вони можуть бути лише векторами в 1d просторі). Також якщо RV є Nx1, то вони будуть векторами в N розмірному просторі?

— послушник

@novice Так, вони спочатку 3 вектори в просторі Nd, але лише 3 виміри не є надмірними. Будь ласка, перейдіть за другим посиланням у відповіді та прочитайте далі посилання на тематичний простір, де це пояснено.

— ttnphns

4

Грати з головними неповнолітніми може бути добре на 3 на 3, а може і на 4 на 4 проблеми, але у великих розмірах не вистачає газу та чисельної стабільності.

Для однієї задачі "вільний" параметр, такий як ця, легко зрозуміти, що набір усіх значень, що створюють матрицю psd, буде одним інтервалом. Тому достатньо знайти мінімальні та максимальні такі значення. Це легко досягти шляхом чисельного вирішення пари лінійних задач програмування SemiDefinite (SDP):

мінімізація γ за умови матриці становить psd.
максимізація γ за умови матриці - psd.

Наприклад, ці проблеми можна сформулювати та чисельно вирішити за допомогою YALMIP в рамках MATLAB.

гама = sdpvar; A = [1 .6 .8; .6 1 гамма; .8 гама 1]; оптимізувати (A> = 0, гамма)
оптимізувати (A> = 0, -гама)

Швидкий, легкий і надійний.

До речі, якщо інтерв'юер з розумними штанами, що задає питання, не знає, що програмування SemiDefinite, яке добре розвинене, має складні та прості у використанні цифрові оптимізатори для надійного вирішення практичних завдань, може бути використане для вирішення цієї проблеми та багато іншого важкі варіанти, скажіть йому / їй, що це вже не 1870 рік, і саме час скористатися сучасними обчислювальними розробками.

— Марк Л. Стоун
джерело

4

Розглянемо наступний опуклий набір

{(х, у, z) \in R^{3} : [\begin{matrix} 1 & х & у \\ х & 1 & z \\ у & z & 1 \end{matrix}] ⪰ О_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

$3$

$x=0.6$ $y=0.8$

Межа еліптопа - це кубічна поверхня, визначена

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

$x=0.6$ $y=0.8$

0.96 z - z^{2} = z (0.96 - z) = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Таким чином, перетин еліптопа з двома площинами є відрізком лінії, параметризованим рівнем

{(0.6, 0.8, t) ∣ 0 \leq t \leq 0.96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Родріго де Азеведо
джерело

1

Кожна позитивна напіввизначена матриця є кореляційною / коваріаційною матрицею (і навпаки).

$A$ $A$ $A=UDU^T$ $U$ $D$ $B= U D^{1/2} U^T$ $D^{1/2}$

$\mathbf{x}$ $B \mathbf{x}$ $A$

$R=E[\mathbf{x}\mathbf{x}^T]$ $R = R^T$ $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ $\mathbf{a}$ $R$

$2^n$ $n$

— Бетмен
джерело