Аналогія співвідношення Пірсона для 3 змінних

Мене цікавить, чи є "співвідношення" трьох змінних чи ні, і якщо що, що це буде?

Коефіцієнт кореляції моменту Пірсона

Тепер питання для 3 змінних: Є

що-небудь?

У R це здається чимось тлумачним:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Ми зазвичай дивимось на співвідношення між двома змінними, заданими значенням третьої змінної. Може хтось уточнить?

Це є дійсно що - то. Щоб це з’ясувати, нам потрібно вивчити те, що ми знаємо про кореляцію.

1. Кореляційна матриця векторнозначной випадкової величини $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ є ковариационной матрицею, або просто «дисперсії» стандартизованої версії $\mathbf{X}$ . Тобто кожен $X_i$ замінюється його перегляненою, переробленою версією.

2. Коваріація $X_i$ та $X_j$ - це очікування добутку їх централізованих версій. Тобто, записуючи $X^\prime_i = X_i - E[X_i]$ і $X^\prime_j = X_j - E[X_j]$ , ми маємо

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. Дисперсія , яку я напишу Var ( X ) , не є одиничним числом. Це масив значень Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. Спосіб думати про коваріантність передбачуваного узагальнення - вважати її тензором . Це означає, що це ціла сукупність величин , індексованих i і j, починаючи від 1 до p , значення яких змінюються особливо простим передбачуваним способом, коли X зазнає лінійного перетворення. Зокрема, нехай Y = ( Y 1 , Y 2 , ... , Y q ) - ще одна випадкова величина, що оцінюється за векторною ознакою$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   Константи (iіj-індекси-jне є потужністю) утворюютьмасивq×pA=($a_i^{\,j}$$i$$j$$j$$q\times p$,j=1,…,pіi=1,…,q. Лінійність очікування передбачає$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$$i=1,\ldots, q$

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   У матричних позначеннях

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Усі компоненти насправді є універсальними дисперсіями, обумовленими ідентичністю поляризації$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Це говорить нам про те, що якщо ви розумієте варіації одновимірних випадкових змінних, ви вже розумієте коваріації біваріантних змінних: вони є "просто" лінійними комбінаціями дисперсій.

Вираз у питанні є абсолютно аналогічним: змінні були стандартизовані, як у ( 1 ) . Ми можемо зрозуміти, що це означає, розглядаючи, що це означає для будь-якої змінної, стандартизованої чи ні. Ми замінили б кожен X i його центрованою версією, як у ( 2 ) , і сформували величини, що мають три індекси,$X_i$$(1)$$X_i$$(2)$

Це центральні (багатоваріантні) моменти ступеня$3$ . Як і в , вони утворюють тензор: коли Y = A X , то$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Індекси в цій потрійній сумі знаходяться на всіх комбінаціях цілих чисел від до p .$1$$p$

Аналогом ідентичності поляризації є

У правій частині позначає (однофакторний) центральний третій момент: очікуване значення куба відцентрованої змінної. Коли змінні стандартизовані, цей момент зазвичай називають косою . Відповідно, ми можемо думати про ц 3 ( X ) як є багатовимірний перекіс з X . Це тензор третього рангу (тобто з трьома індексами), значення яких є лінійними комбінаціями похилих різних сум і різниць X i . Якби ми шукали інтерпретації, то ми б вважали ці компоненти мірними в $\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$розміри, незалежно від вимірювання косості в одному вимірі. У багатьох випадках

• Перші моменти вимірюють місце розподілу;

• Другі моменти (дисперсія-коваріаційна матриця) вимірюють її поширення ;

• Стандартизовані другі моменти (кореляції) вказують на те, як змінюється спред у -вимірному просторі; і$p$

• Для вимірювання форми розподілу відносно його поширення приймаються стандартизовані третій та четвертий моменти .

Щоб детальніше розглянути, що може означати багатовимірна "форма", зауважив, що ми можемо розуміти PCA як механізм зменшення будь-якого багатофакторного розподілу до стандартної версії, розташованої біля джерела, і рівного розповсюдження у всіх напрямках. Після виконання PCA, забезпечить найпростіші показники багатовимірної форми розподілу. Ці ідеї однаково добре застосовуються до даних, як до випадкових змінних, оскільки дані завжди можна проаналізувати з точки зору їх емпіричного розподілу.$\mu_3$

Довідково

Алан Стюарт та Дж. Кіт Орд, п'ята редакція передової теорії статистики Кендала , Том 1: Теорія розподілу ; Глава 3, Моменти та сукупності . Oxford University Press (1987).

Додаток: Доказ ідентичності поляризації

Нехай - алгебраїчні змінні. Існує 2 n способів додавання і віднімання всіх n з них. Коли ми збільшимо кожну з цих сум і різниць до n- ї потужності, підберемо відповідний знак для кожного з цих результатів і додамо їх, ми отримаємо кратне x 1 x 2 ⋯ x n .$x_1,\ldots, x_n$$2^n$$n$$n^\text{th}$$x_1x_2\cdots x_n$

Більш формально, нехай - множина всіх n -парів ± 1 , так що будь-який елемент s ∈ S є вектором s = ( s 1 , s 2 , … , s n ), чий коефіцієнти всі ± 1 . Претензія є$S=\{1,-1\}^n$$n$$\pm 1$$s\in S$$s=(s_1,s_2,\ldots,s_n)$$\pm 1$

Indeed, the Multinomial Theorem states that the coefficient of the monomial $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ (where the $i_j$ are nonnegative integers summing to $n$) in the expansion of any term on the right hand side is

In the sum $(1)$, the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$, with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$, equal to $1$, and the other of each pair involves the case $s_1=-1$, with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$, equal to $(-1)^{i_1+1}$. They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$. Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$. The only such monomial is $x_1x_2\cdots x_n$. It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$, QED.

We need take only half of each pair associated with $x_1$: that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$: $2^{2-1}2! = 4$ and $2^{3-1}3!=24$.

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$. Take expectations of both sides. The result follows by linearity of expectation.

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

If You need to calculate "correlation" between three or more variables, you could not use Pearson, as in this case it will be different for different order of variables have a look here. If you are interesting in linear dependency, or how well they are fitted by 3D line, you may use PCA, obtain explained variance for first PC, permute your data and find probability, that this value may be to to random reasons. I've discuss something similar here (see Technical details below).

Matlab code

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)