Чому коефіцієнт кореляції між X та XY випадковими змінними, як правило, дорівнює 0,7

Взяте з Практичної статистики медичних досліджень, де Дуглас Альтман пише на сторінці 285:

... для будь-яких двох величин X і Y, X буде співвідноситися з XY. Дійсно, навіть якщо X і Y є вибірками випадкових чисел, ми очікуємо, що співвідношення X і XY буде 0,7

Я спробував це в R, і, здається, це так:

x <- rnorm(1000000, 10, 2)
y <- rnorm(1000000, 10, 2)
cor(x, x-y)

xu <- sample(1:100, size = 1000000, replace = T)
yu <- sample(1:100, size = 1000000, replace = T)
cor(xu, xu-yu)

Чому так? Яка теорія стоїть за цим?

Якщо і - некорельовані випадкові величини з однаковою дисперсією , то маємо, що Отже,$X$$Y$$\sigma^2$

$$\begin{align} \operatorname{var}(X-Y) &= \operatorname{var}(X) + \operatorname{var}(-Y)\\ &= \operatorname{var}(X) + \operatorname{var}(Y)\\ &=2\sigma^2,\\ \operatorname{cov}(X, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) & \text{bilinearity of covariance operator}\\ &= \operatorname{var}(X) - 0 & 0 ~\text{because}~X ~\text{and}~ Y ~\text{are uncorrelated}\\ &= \sigma^2. \end{align}$$ $$\rho_{X,X-Y} = \frac{\operatorname{cov}(X, X-Y)}{\sqrt{\operatorname{var}(X)\operatorname{var}(X-Y)}}= \frac{\sigma^2}{\sqrt{\sigma^2\cdot2\sigma^2}} = \frac{1}{\sqrt{2}}.$$ Отже, коли ви знайдете вибіркове співвідношення і для великого набору даних отриманий із сукупності з цими властивостями, яка включає "випадкові числа" як особливий випадок, результат має тенденцію бути близьким до значення кореляції сукупності xx-y{(xi,yi):1≤i≤n} $$\frac{\sum_{i=1}^n\left(x_i - \bar{x}\right) \left((x_i-y_i) - (\bar{x}-\bar{y})\right)}{ \sqrt{\sum_{i=1}^n\left(x_i - \bar{x}\right)^2 \sum_{i=1}^n\left((x_i-y_i) - (\bar{x}-\bar{y})\right)^2}}$$ $x$$x-y$$\{(x_i,y_i)\colon 1 \leq i \leq n\}$$\frac{1}{\sqrt{2}} \approx 0.7071\ldots$

Геометрично-статистичне пояснення.

Уявіть, що ви робите "розкинуту зсередини" розсипку, де предметів - осі, а змінні і - точки . Це називається предметним просторовим графіком (на відміну від звичайного сюжетного простору ). Оскільки на графіку є лише 2 бали, всі розміри в такому просторі, за винятком будь-яких двох довільних розмірів, які здатні підтримувати 2 точки плюс походження, є зайвими і їх можна безпечно скинути. І так нам залишається літак. Ми намалюємо векторні стрілки від початку до точок: це наші змінні і як вектори в предметному просторі даних.2 X Y X $n$ $2$ $X$$Y$$X$$Y$

Тепер, якщо змінні були зосереджені, то в предметному просторі косинус кута між їх векторами є їх коефіцієнтом кореляції . На малюнку нижче і вектори ортогональні: їх . Неспорідненість була необхідною умовою, яку окреслив @Dilip у своїй відповіді.Y r = $X$$Y$$r=0$

Також для змінних в центрі їх довжини вектора в предметному просторі є їх стандартними відхиленнями . На рис, і мають однакову довжину, - однакові відхилення також були обов'язковою умовою @Dilip.$X$$Y$

Щоб намалювати змінну чи змінну ми просто використовуємо векторне додавання чи віднімання, про які ми забули ще зі школи (перемістіть вектор Y на кінець X вектора та напрямок обертання у разі віднімання, - це показано сірими стрілками на малюнку, - потім намалюйте вектор туди, куди вказує сіра стрілка).X + $X-Y$$X+Y$

Стає дуже зрозуміло, що довжина векторів або (стандартне відхилення цих змінних) за теоремою Піфагора , а кут між і або дорівнює 45 градусів, косинус - співвідношення -X + Y $X-Y$$X+Y$ XX-YX+Y$\sqrt{2\sigma^2}$$X$$X-Y$$X+Y$$0.707...$

Я вважаю, що тут є і проста інтуїція, заснована на симетрії. Оскільки X і Y мають однакові розподіли і мають коваріацію 0, зв’язок X ± Y з X повинен "пояснити" половину варіації X ± Y; інша половина повинна бути пояснена Y. Отже, R ² повинен бути 1/2, що означає, що R дорівнює 1 / √2 ≈ 0.707.

Ось простий спосіб подумати про те, чому взагалі існує кореляція.

Уявіть, що відбувається, коли ви віднімаєте два розподіли. Якщо значення х низьке, то в середньому x - yце буде нижчим значенням, ніж якщо значення х високе. Зі збільшенням x x - yв середньому збільшується, і, отже, позитивна кореляція.