Чому випадкові прогулянки взаємопов'язані?

Я помітив, що в середньому абсолютне значення коефіцієнта кореляції Пірсона є постійним близьким до будь-якої пари незалежних випадкових прогулянок, незалежно від довжини ходи.0.560.42

Чи може хтось пояснити це явище?

Я очікував, що кореляція стане меншою, оскільки довжина ходи збільшується, як і у будь-якій випадковій послідовності.

Для своїх експериментів я використовував випадкові гауссові прогулянки із середнім кроком 0 та ступенем стандартного відхилення 1.

ОНОВЛЕННЯ:

Я забув відцентрувати дані, тому це було 0.56замість цього 0.42.

Ось сценарій Python для обчислення кореляцій:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Ваші незалежні процеси не співвідносяться! Якщо і Y t є незалежними випадковими прогулянками:$X_t$$Y_t$

• Коефіцієнт кореляції, безумовний за часом, не існує. (Не кажіть про .)$\operatorname{Corr}(X, Y)$
• Для будь-якого часу , Corr ( X t , Y t ) дійсно дорівнює 0.$t$$\operatorname{Corr}(X_t, Y_t)$
• Але вибіркова статистика на основі середніх часових рядів ні до чого не сходиться! Коефіцієнт вибіркової кореляції, який ви обчислили на основі усереднення кількох спостережень у часі , безглуздо.

Інтуїтивно ви можете здогадатися (неправильно), що:

1. Незалежність між двома процесами і { Y t } означає, що вони мають нульову кореляцію. (Для двох випадкових прогулянок Corr ( X , Y ) не існує.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. Часових рядів, зразок кореляції ρ X Y (тобто коефіцієнта кореляції , розрахованого з використанням часових рядів, зразки , такі як статистичні дані ^ μ Х = 1$\hat{\rho}_{XY}$) буде збігатися на коефіцієнт кореляції популяціїρXYякT→∞.$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

Проблема в тому, що жодне з цих тверджень не відповідає дійсним прогулянкам! (Це справедливо для кращих процесів, що ведуться.)

Для нестаціонарних процесів:

• Ви можете говорити про співвідношення між процесами і { Y t } в будь-які два конкретні моменти часу (наприклад, Corr ( X 2 , Y 3 ) - цілком доцільне твердження.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Але не має сенсу говорити про кореляцію між двома серіями безумовними в часі! не має чітко визначеного значення.$\operatorname{Corr}(X, Y)$

Проблеми у випадку випадкової прогулянки?

1. Для випадкової прогулянки безумовні моменти населення (тобто які не залежать від часу ), наприклад, E [ X ] , не існують. (У деякому вільному сенсі вони нескінченні.) Аналогічно, безумовний коефіцієнт кореляції ρ X Y між двома незалежними випадковими прогулянками не дорівнює нулю; насправді його не існує!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. Припущення ергодичних теорем не застосовуються та різні середні часові ряди (наприклад, )несходяться ні до чого, якT→∞. $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Для стаціонарної послідовності середній показник часових рядів згодом збіжиться на середньому, безумовному за часом. Але для нестаціонарної послідовності не означає, що це безумовно в часі!

Якщо у вас є різні спостереження за двома незалежними випадковими прогулянками з часом (наприклад, , X 2 тощо) та Y 1 , Y 2 , ....), і ви обчислюєте коефіцієнт кореляції вибірки, ви отримаєте число між - 1 і 1 . Але це не буде наближенням коефіцієнта кореляції чисельності (якого не існує).$X_1$$X_2$$Y_1$$Y_2$$-1$$1$

Замість (розраховується з використанням середніх часових рядів від т = 1 до Т = Т ) збираються бути в основному випадковим змінним (що приймають значення в [ - 1 , 1 ] ) , який відображає два конкретних шляху випадкові прогулянки відбулися випадково (тобто шляхи, визначені малюнком ω, проведені із зразкового простору Ω .) Говорячи надзвичайно вільно (і неточно):$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• Якщо обидва і Y т трапилося бродити в тому ж напрямку, ви будете виявляти паразитні позитивні відносини.$X_t$$Y_t$
• Якщо і Y t блукали в різних напрямках, ви виявите помилкові негативні стосунки.$X_t$$Y_t$
• Якщо і Y t траплялися досить один за одним, ви виявите відношення майже до нуля.$X_t$$Y_t$

Ви можете більше дізнатися про це за допомогою термінів spurious regression random walk.

Випадкова прогулянка не є нерухомою, а середні показники з часом не збігаються з тим, що ви отримали, взявши iid малюнки ω з пробіру Ω . Як було сказано в коментарях вище, ви можете взяти перші відмінності Δ x t = x t - x t - 1, а для випадкової прогулянки цей процес { Δ x t } є нерухомим.$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Ідея великої картини:

Кілька спостережень у часі НЕ збігаються з декількома малюнками з пробного простору!

Нагадаємо, що дискретний стохастичний процес у часі є функцією як часу ( t ∈ N ), так і простору вибірки Ω .$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

Щоб середні з часом збігалися до очікувань щодо вибіркового простору Ω , вам потрібна стаціонарність та ергодичність . Це головна проблема в аналізі багатьох часових рядів. І випадкова прогулянка не є стаціонарним процесом.$t$$\Omega$

Підключення до відповіді WHuber:

Якщо ви можете брати середні показники за декілька моделей (тобто брати кілька нічиїх від ), а не змушувати брати середні значення за час t , ряд ваших проблем зникає.$\Omega$$t$

Ви можете, звичайно , визначити ρ X Y ( т ) як коефіцієнт кореляції вибірки , обчисленої на X 1 ... X т і Y 1 ... Y т , і це буде також стохастичний процес.$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

Ви можете визначити деяку випадкову змінну як:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Для двох випадкових прогулянок, що починаються з з кроком N ( 0 , 1 ) , легко знайти E [ Z 10000 ] за допомогою імітації (тобто взяття декількох малюнків від Ω .)$0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

Нижче я провів моделювання 10 000 обчислень вибіркового коефіцієнта кореляції Пірсона. Кожен раз, коли я:

• Імітовані дві випадкові прогулянки довжиною 10 000 (з нормально розподіленими кроками, проведені з ).$\mathcal{N}(0,1)$
• Розрахували коефіцієнт кореляції вибірки між ними.

Нижче наведена гістограма, що показує емпіричний розподіл на 10000 обчислених коефіцієнтів кореляції.

Ви можете чітко спостерігати , що випадкова величина р X Y ( 10000 ) може бути всюди в інтервалі [ - 1 , 1 ] . Для двох фіксованих шляхів X і Y коефіцієнт кореляції вибірки не збігається ні до чого, оскільки тривалість часового ряду збільшується.$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

З іншого боку, для певного часу (наприклад. ), коефіцієнт кореляції вибірки є випадковою величиною з кінцевим середнім і т.д. ... Якщо взяти абсолютне значення і обчислити середнє по всьому моделювання, Я обчислюю приблизно .42. Я не впевнений, чому ви хочете це зробити чи чому це взагалі має значення ??, але, звичайно, ви можете.$t=10,000$

Код:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

Математика, необхідна для отримання точного результату, безладна, але ми можемо отримати точне значення для очікуваного коефіцієнта кореляції у квадраті порівняно безболісно. Це допомагає пояснити , чому значення близько продовжує демонструвати і чому збільшення довжини п випадкового блукання не змінить речі.$1/2$$n$

Існує потенція для плутанини щодо стандартних термінів. Абсолютна кореляція, про яку йдеться у запитанні, разом зі статистикою, яка її складає - дисперсії та коваріації - є формулами, які можна застосувати до будь-якої пари реалізацій випадкових прогулянок. Питання стосується того, що відбувається, коли ми дивимось на багато незалежних реалізацій. Для цього нам потрібно прийняти очікування щодо процесу випадкової прогулянки.

---

(Редагувати)

Перш ніж ми продовжимо, я хочу поділитися з вами деякими графічними відомостями. Пара незалежних випадкових прогулянок - випадкова хода у двох вимірах. Ми можемо побудувати шлях, який крокує від кожного ( X t , Y t ) до X t + 1 , Y t + 1 . Якщо цей шлях має тенденцію донизу (зліва направо, побудований на звичайних осях XY), то для того, щоб вивчити абсолютне значення кореляції , відкинемо всі значення Y. Накресліть прогулянки по осях розміром, щоб дати X і$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$ значення рівні стандартні відхилення і накладатися найменших квадратів з Y до X . Нахили цих ліній будуть абсолютними значеннями коефіцієнтів кореляції, лежачи завжди між 0 і 1 .$Y$$Y$$X$$0$$1$

Цей малюнок показує таких прогулянок, кожна довжиною 960 (зі стандартними нормальними відмінностями). Маленькі відкриті кола позначають свої вихідні точки. Темні кола позначають їх кінцеві місця.$15$$960$

Ці схили, як правило, досить великі. Ідеально випадкові розсіювачі цих багатьох точок завжди мали б нахили дуже близькі до нуля. Якби нам довелося описати закономірності, що виникають тут, можна сказати, що більшість 2D випадкових прогулянок поступово мігрують з одного місця в інше. (Однак, це не обов'язково їх місце початку та кінцевої точки!) Приблизно половина часу міграція відбувається в діагональному напрямку - і нахил відповідно високий.

У решті цього посту наводиться аналіз цієї ситуації.

---

Випадкова хода - це послідовність часткових сум ( W 1 , W 2 , ... , W n ), де W i є незалежними однаково розподіленими нульовими середніми змінними. Нехай їх спільна дисперсія буде σ 2 .$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

У реалізації такої прогулянки, "дисперсія" буде обчислена так, ніби це будь-який набір даних:$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Хороший спосіб обчислити це значення - взяти половину середнього значення всіх різниць у квадраті:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Відмінності - це суми змінних iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Expand the square and take expectations. Because the $W_k$ are independent and have zero means, the expectations of all cross terms are zero. That leaves only terms like $W_k$, whose expectation is $\sigma^2$. Thus

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

It easily follows that

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

The covariance between two independent realizations $x$ and $y$--again in the sense of datasets, not random variables--can be computed with the same technique (but it requires more algebraic work; a quadruple sum is involved). The result is that the expected square of the covariance is

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

Consequently the expectation of the squared correlation coefficient between $X$ and $Y$, taken out to $n$ steps, is

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Although this is not constant, it rapidly approaches a limiting value of $9/40$. Its square root, approximately $0.47$, therefore approximates the expected absolute value of $\rho(n)$ (and underestimates it).

---

I am sure I have made computational errors, but simulations bear out the asymptotic accuracy. In the following results showing the histograms of $\rho^2(n)$ for $1000$ simulations each, the vertical red lines show the means while the dashed blue lines show the formula's value. Clearly it's incorrect, but asymptotically it is right. Evidently the entire distribution of $\rho^2(n)$ is approaching a limit as $n$ increases. Similarly, the distribution of $|\rho(n)|$ (which is the quantity of interest) will approach a limit.

This is the R code to produce the figure.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}