Як генерувати корельовані випадкові числа (задані засоби, відхилення та ступінь кореляції)?

Вибачте, якщо це здається занадто базовим, але я думаю, що я просто прагну підтвердити розуміння тут. Я розумію, що я повинен був би зробити це в два кроки, і я почав намагатися врізати кореляційні матриці, але це тільки починає здаватися дійсно пов'язаним. Я шукаю коротке пояснення (в ідеалі з натяками на рішення псевдокоду) хорошого, в ідеалі швидкого способу генерування співвідносних випадкових чисел.

З огляду на дві псевдовипадкові змінні висоти та ваги з відомими засобами та відхиленнями, і дане співвідношення, я думаю, я в основному намагаюся зрозуміти, як повинен виглядати цей другий крок:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

• Як обчислити співвідносні середнє значення та дисперсію? Але я хочу підтвердити, що це справді актуальна проблема тут.
• Чи потрібно вдаватися до матричного маніпулювання? Або у мене є щось інше дуже неправильне в моєму базовому підході до цієї проблеми?

Щоб відповісти на ваше запитання про "хороший, ідеально швидкий спосіб генерування співвідносних випадкових чисел": Враховуючи бажану дисперсійно-коваріаційну матрицю що за визначенням є позитивно визначеною, її розклад Холеського становить: = ; є нижньою трикутною матрицею.C L L T$C$$C$$LL^T$$L$

Якщо ви тепер використовуєте цю матрицю для проектування некоррельованого випадкового вектора змінної , то отримана проекція буде співвіднесеною випадковими змінними.X Y = L $L$$X$$Y = LX$

Ви можете знайти стисле пояснення, чому це відбувається тут .

+1 до @ user11852 та @ jem77bfp, це хороші відповіді. Дозвольте мені підійти до цього з іншого погляду, не тому, що я думаю, що це на практиці обов'язково краще , а тому, що я вважаю, що це повчально. Ось кілька релевантних фактів, про які ми вже знаємо:

1. X Y N ( 0 , 1 $r$ є нахил лінії регресії , коли обидва і є стандартизованими , тобто, , $X$$Y$$\mathcal N(0,1)$

2. Y $r^2$ - частка дисперсії в віднесена до дисперсії в , $Y$$X$

   
   
   (також із правил для варіацій ):

3. дисперсія випадкової величини, помноженої на константу, є постійною квадратом у рази початкової дисперсії:
   $$\text{Var}[aX]=a^2\text{Var}[X]$$
4. додаються відхилення , тобто дисперсія суми двох випадкових змінних (якщо припустити, що вони незалежні) - це сума двох дисперсій:
   $$\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$$

Тепер ми можемо комбінувати ці чотири факти, щоб створити дві стандартні нормальні змінні, популяції яких матимуть задану кореляцію, (правильніше, ), хоча згенеровані вами вибірки матимуть вибіркові кореляції, які змінюються. Ідея полягає у створенні псевдовипадкової змінної , яка є звичайною нормальною, , а потім знайти коефіцієнт, та дисперсію помилок, , такий, що , де . (Зверніть увагу, що повинно бути щоб це працювало, і, крім того, .) Таким чином, ви починаєте з$r$$\rho$$X$$\mathcal N(0,1)$$a$$v_e$$Y \sim\mathcal N(0,a^2+v_e)$$a^2+v_e=1$$|a|$ $\le 1$$a=r$$r$ що ви хочете; це ваш коефіцієнт, . Потім ви з'ясуєте дисперсію помилок, яка вам знадобиться, це . (Якщо ваше програмне забезпечення вимагає використання стандартного відхилення, візьміть квадратний корінь цього значення.) Нарешті, для кожної створеної вами псевдовипадкової змінної генерують псевдовипадкової помилки, , з відповідною дисперсією помилок , і обчислити корельовану псевдовипадкову величину шляхом множення та додавання. $a$$1-r^2$$x_i$$e_i$$v_e$$y_i$

Якщо ви хочете зробити це в R, для вас може працювати наступний код:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

(Редагувати: я забув згадати :) Як я це описав, ця процедура дає вам дві стандартні нормальні корельовані змінні. Якщо ви не хочете стандартних нормалів, але хочете, щоб змінні мали певні засоби (не 0) та SD (не 1), ви можете їх перетворити, не впливаючи на кореляцію. Таким чином, ви віднімете спостережуване середнє значення, щоб переконатися, що середнє значення дорівнює точно , помножте змінну на потрібну SD, а потім додайте значення, яке ви хочете. Якщо ви хочете, щоб спостережуване середнє значення коливалося навколо бажаного середнього, ви додасте початкову різницю назад. По суті це перетворення z-балів у зворотному напрямку. Оскільки це лінійне перетворення, перетворена змінна матиме таку ж кореляцію з іншою змінною, як і раніше. $0$

Знову ж таки, це в його найпростішій формі дозволяє лише генерувати пару корельованих змінних (це може бути збільшено, але швидко стає некрасивим), і це, звичайно, не найзручніший спосіб зробити роботу. У R ви хочете використовувати ? Mvrnorm в пакеті MASS , як тому, що це простіше, так і тому, що ви можете генерувати багато змінних за допомогою заданої матриці кореляції населення. Тим не менш, я думаю, що варто пройти цей процес, щоб побачити, як деякі основні принципи виконуються просто.

Взагалі це непроста річ, але я вважаю, що є пакети для багатоваріантної нормальної змінної генерації (принаймні в R, див. mvrnormУ MASSпакеті), куди ви просто вводите коваріаційну матрицю та середній вектор.

$(X_1,X_2)$$F(x_1,x_2)$$F$$x_2$

$F(x_1,x_2)$$x_1=\hat{x}_1$

Потім ви знову генеруєте рівномірно розподілену змінну на (незалежно від ) і підключаєте її до інверсії . Тому ви отримуєте ; тобто задовольняє . Цей метод можна узагальнити до векторів з більшими розмірами, але його недоліком є ​​те, що вам доведеться обчислити, аналітично чи чисельно, багато функцій. Ідею можна знайти і в цій статті: http://www.econ-pol.unisi.it/dmq/pdf/DMQ_WP_34.pdf .$\xi_2$$[0,1]$$\xi_1$$F(x_2 | X_1=\hat{x}_1)$$\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$$\hat x_2$$F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Якщо ви не розумієте значення включення рівномірної змінної у функцію зворотного розподілу ймовірностей, спробуйте зробити ескіз одновимірного випадку, а потім запам’ятайте, що таке геометричне тлумачення зворотної функції.

Якщо ви готові відмовитися від ефективності, можете скористатися алогоритмом викидання. Його перевага полягає в тому, що вона дозволяє здійснювати будь-який вид розподілу (не тільки гауссового).

Почніть з генерації двох некоррельованих послідовностей випадкових чисел та з будь-якими потрібними розподілами. Нехай по бажаному значенню коефіцієнта кореляції. Потім виконайте наступне:$\{x_i\}_{i=1}^N$$\{y_i\}_{i=1}^N$$C$

1) Обчислити коефіцієнт кореляції$c_{old}=corr(\{x_i\},\{y_i\})$

2) Утворіть дві випадкові маннери і$n_1$$n_2: 1 \leq n_{1,2} \leq N$

3) Міняйте числами і$x_{n_1}$$x_{n_2}$

4) Обчисліть нову кореляцію$c_{new}=corr( \{x_i\},\{y_i\})$

5) Якщотоді тримай своп. Ще скасуйте заміну.$|C-c_{new}| < |C-c_{old}|$

6) Якщо stop, інакше перейдіть 1)$|C-c| < \epsilon$

Випадкові свопи не змінять граничний розподіл .${x_i}$

Удачі!