Чому кореляційна матриця повинна бути позитивною напіввизначеною і що це означає бути чи не бути позитивною напіввизначеною?

Я досліджував значення позитивної напіввизначеної властивості кореляційних або коваріаційних матриць.

Я шукаю будь-яку інформацію про

Визначення позитивної напіввизначеності;
Його важливі властивості, практичні наслідки;
Наслідок негативного детермінанта, впливу на результати багатоваріантного аналізу чи моделювання тощо.

— Диня
джерело

Ви хочете , щоб зрозуміти , що пів-визначеність є , або ви хочете знати , чому кореляційні матриці повинні бути полуопределеннимі, або ви хочете знати , що важливі результати випливають з цієї властивості?

— whuber

Якщо кореляційні матриці, де не напівпозитивні, то ви можете отримати відхилення, які були від'ємними.

Я трохи відредагував ваше запитання, будь ласка, перевірте це. Також зауважте, що матриця з парною кількістю негативних власних значень як і раніше матиме позитивний визначник.

— ttnphns

Коваріаційна матриця НЕ завжди дорівнює кореляційній матриці! Коваріація враховує нормалізовані змінні, тоді як кореляційна матриця цього не робить.

— Маной Кумар

Супутні питання: Чи є кожна матриця коваріації позитивною? розглядає ширший випадок коваріаційних матриць, кореляційні матриці яких є окремим випадком; також є чи кожна кореляційна матриця неотрицательно певної? і чи визначена кожна кореляційна матриця позитивною?

— Срібна рибка

Відповіді:

Варіантність зваженої суми випадкових величин повинна бути негативною для всіх варіантів реальних чисел . Оскільки дисперсія може бути виражена як $\sum_i a_i X_i$ $a_i$

var (\sum_{i} а_{i} Х_{i}) = \sum_{i} \sum_{j} а_{i} а_{j} ков (Х_{i}, Х_{j}) = \sum_{i} \sum_{j} а_{i} а_{j} Σ_{i, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ маємо, що матриця коваріації

повинна бути позитивною напівдефінітією (яку іноді називають невід’ємною визначеною). Нагадаємо, що матрицю

називають позитивною напівкінцевою тоді і лише тоді, коли

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{i} \sum_{j} a_{i} a_{j} C_{i, j} \geq 0 \forall a_{i}, a_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— Діліп Сарват
джерело

Дякую, я видалив свою нижчу долю, але я не подав заявку, оскільки вона не відповідає практичним наслідкам. Скажімо, у мене є матриця, яка не є позитивно визначеною (належить до прикладу модифікації "експертом"). Що буде, якщо я використовую його для калібрування та / або моделювання даних? Зокрема, це реальна проблема, коли намагаються вивчити велику суму і є лише кілька негативних власних значень? Що було б ефективним алгоритмом для перетворення непозитивної напіввизначеної матриці кореляції в позитивну напіввизначену? Який був би вплив цього алгоритму?

— lcrmorin

@Were_cat Дякуємо за скасування нижньої позиції.

— Діліп Сарват

Не могли б ви пояснити першу рівність у першому рівнянні?

— Vivek Subramanian

@VivekSubramanian Variance - це особливий випадок функції коваріації:

а функція коваріації є білінеарною (означає, що це лінійна функція щодо кожного аргументу:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{i} a_{i} X_{i}, Y) & = \sum_{i} a_{i} cov (X_{i}, Y) \\ cov (X, \sum_{i} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Відповідь досить проста.

Кореляційна матриця визначається таким чином:

$X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ as the matrix of normalized data, with $\mu_1$ being mean for the variable 1, $\mu_2$ the mean for variable 2, etc., and $s_1$ the standard deviation of variable 1, etc., and $e$ is a vector of all 1s.

The correlation matrix is then

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

A matrix $A$ is positive semi-definite if there is no vector $z$ such that $z' A z <0$ .

Suppose $C$ is not positive definite. Then there exists a vector w such that $w' C w<0$ .

However $(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ , where $z=X_b w$ , and thus $w' C w$ is a sum of squares and therefore cannot be less than zero.

So not only the correlation matrix but any matrix $U$ which can be written in the form $V' V$ is positive semi-definite.

— gregor
джерело

This is by far the clearest most concise and useful answer. Thanks !

— Yohan Obadia

(Possible looseness in reasoning would be mine. I'm not a mathematician: this is a depiction, not proof, and is from my numeric experimenting, not from books.)

A positive semidefinite (psd) matrix, also called Gramian matrix, is a matrix with no negative eigenvalues. Matrix with negative eigenvalues is not positive semidefinite, or non-Gramian. Both of these can be definite (no zero eigenvalues) or singular (with at least one zero eigenvalue). [Word "Gramian" is used in several different meanings in math, so perhaps should be avoided.]
In statistics, we usually apply these terms to a SSCP-type matrix, also called scalar product matrix. Correlation or covariance matrices are particular cases of such matrix.
Any scalar product matrix is a summary characteristic of some multivariate data (a cloud). For example, given $n$ cases X $p$ variables data, we could compute $p$ X $p$ covariance matrix between the variables or $n$ X $n$ covariance matrix between the cases. When you compute it from real data, the matrix will always be Gramian. You may get non-Gramian (non-psd) matrix if (1) it is similarity matrix measured directly (i.e. not computed from the data) or the similarity measure isn't SSCP-type; (2) the matrix values was incorrectly entered; (3) the matrix is in fact Gramian but is (or so close to be) singular that sometimes the spectral method of computing eigenvalues produces tiny negative ones in place of true zero or tiny positive ones.
An alternative and equivalent summary for the cloud is the matrix of euclidean distances. A scalar product (such as covariance) between a pair of items and the corresponding squared euclidean distance between them are tied by the law of cosines (cosine theorem, look at the picture there): $d_{12}^2 = h_1^2+h_2^2-2s_{12}$ , where the $s$ is the scalar product and the $h$ 's are the distances of the two items from the origin. In case of covariance matrix between variables $X$ and $Y$ this formula looks as $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$ .
As interim conclusion: a covariance (or correlation or other scalar product) matrix between some $m$ items is a configuration of points embedded in Euclidean space, so euclidean distances are defined between all these $m$ points.
Now, if [point 5] holds exactly, then the configuration of points is truly euclidean configuration which entails that the scalar product matrix at hand (e.g. the covariance one) is Gramian. Otherwise it is non-Gramian. Thus, to say " $m$ X $m$ covariance matrix is positively semi-definite" is to say "the $m$ points plus the origin fit in Euclidean space perfectly".
What are possible causes or versions of non-Gramian (non-Euclidean) configuration? The answers follow upon contemplating [point 4].
- Cause 1. Evil is among the points themselves: $m$ X $m$ distance matrix isn't fully euclidean. Some of the pairwise distances $d$ are such that they cannot agree with the rest of the points in Euclidean space. See Fig1.
- Cause 2. There is general (matrix-level) mismatch between $h$ 's and $d$ 's. For example, with fixed $d$ 's and some $h$ 's given, the other $h$ 's must only vary within some bounds in order to stay in consent with Euclidean space. See Fig2.
- Cause 3. There is localized (pair-level) mismatch between a $d$ and the pair of corresponding $h$ 's connected to those two points. Namely, the rule of triangular inequality is violated; that rule demands $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$ . See Fig3.
To diagnose the cause, convert the non-Gramian covariance matrix into distance matrix using the above law of cosines. Do double-centering on it. If the resultant matrix has negative eigenvalues, cause 1 is present. Else if any $|cov_{ij}| \gt \sigma_i \sigma_j$ , cause 3 is present. Else cause 2 is present. Sometimes more than one cause get along in one matrix.

Fig1.

Fig1

Fig2.

Fig2

Fig3.

Fig3

— ttnphns
джерело

Point 6 needs demonstration: you have shown that a matrix of squared Euclidean distances is p-d, but you assert without proof that to each p-d matrix corresponds a Euclidean configuration of points. Also you haven't connected your definition of p-d ("no negative eigenvalues") to any of your subsequent characterizations. The key idea comes at the end (point 8): a p-d matrix can be used to define a distance. Logically, this is where you should begin the analysis.

— whuber

@whuber: Thank you for the critical appraisal. I'm afraid, when it comes to mathematically proving something, I sink. I've reported part of my practical experience (I said that); the answer wasn't really an analytical sequence. Wouldn't you like then to add your own answer that can correct/improve mine? It might turn out a valuable aid. Or, you are free to work on my text to improve it if you find it not downright futile.

— ttnphns

P.S. My point 8 implies that since double centering anchors a configuration of points to its centroid, this operation itself does not introduce non-euclidity (it itroduces only singularity because the new point, centre, belongs to the same space). Thence we can check if the initial configuration was euclidean. Is that not correct?

— ttnphns