Генерування даних за допомогою заданої матриці коваріації вибірки

З огляду на матрицю коваріації , як генерувати такі дані, щоб у них була матриця зразкової коваріації \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?$\boldsymbol \Sigma_s$$\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s$

Більш загально: нас часто цікавить генерування даних із щільності $f(x \vert \boldsymbol\theta)$ , при цьому дані $x$ задають деякий вектор параметрів $\boldsymbol\theta$ . Це призводить до вибірки, з якої ми можемо знову оцінити значення $\boldsymbol{\hat\theta}$ . Мене цікавить зворотна проблема: що робити, якщо нам задають набір параметрів $\boldsymbol\theta_{s}$ , і ми хотіли б створити зразок $x$ такий, що $\boldsymbol{\hat\theta} = \boldsymbol\theta_{s}$ .

Це відома проблема? Чи корисний такий метод? Чи доступні алгоритми?

Існують дві різні типові ситуації для подібних проблем:

i) ви хочете генерувати вибірку із заданого розподілу, чиї характеристики популяції відповідають вказаним (але через зміну вибірки, вибіркові характеристики точно не відповідають).

ii) ви хочете генерувати вибірку, характеристики вибірки якої відповідають вказаним (але через обмеження точно збігання величин вибірки до заданого набору значень насправді не виходять із потрібного розподілу).

Ви хочете другий випадок - але ви отримуєте його, дотримуючись того ж підходу, що і перший випадок, з додатковим кроком стандартизації.

Отже, для багатоваріантних нормалів це може бути зроблено досить просто:

У першому випадку ви можете використати випадкові нормали без структури популяції (наприклад, стандартний нормальний стандарт, у якого очікування 0 та матриця коваріації ідентичності), а потім накласти це - перетворити, щоб отримати матрицю коваріації та означає, що ви хочете. Якщо і Σ - це середнє значення сукупності, а вам потрібна коваріація, а z є стандартним нормальним, ви обчислюєте y = L z + μ , для деяких L, де L L ' = Σ (наприклад, відповідний L можна отримати при розкладанні Холеського). Тоді y має бажані популяційні характеристики.$\mu$$\Sigma$$z$$y=Lz+\mu$$L$$LL'=\Sigma$$L$$y$

З другим, ви повинні спочатку перетворити свої випадкові нормали, щоб видалити навіть випадкову зміну від нульової середньої та ідентичності коваріації (зробити вибірку середньою нулевою та коваріантність вибірки ), а потім продовжити, як і раніше. Але той початковий крок усунення відхилення вибірки від точного середнього значення 0 , дисперсія $I_n$$0$$I$ заважає розподілу. (У невеликих пробах це може бути досить важко.)

Це можна зробити, віднявши середнє вибіркове значення ( z ∗ = z - ˉ z ) і обчисливши розклад Холеського z ∗ . Якщо L ∗ - лівий коефіцієнт Холеського, то z ( 0 ) = ( L ∗ ) - 1 z ∗ повинен мати середнє значення вибірки 0 та коваріацію вибірки ідентичності. Потім можна обчислити y = L z ( 0 ) + $z$$z^*=z-\bar z$$z^*$$L^*$$z^{(0)}=(L^*)^{-1}z^*$$y=Lz^{(0)}+\mu$і мати вибірку з бажаними моментами вибірки. (Залежно від того, як визначено кількість вашої вибірки, може бути додаткова невелика скрипка, пов'язана з множенням / діленням на такі фактори, як , але визначити цю потребу досить просто.)$\sqrt{\frac{n-1}{n}}$

@Glen_b дав хорошу відповідь (+1), яку я хочу проілюструвати деяким кодом.

Як генерувати вибірок із d -вимірного багатовимірного гауссового розподілу із заданою коваріаційною матрицею Σ ? Це легко зробити, генеруючи зразки зі стандартного Гаусса і множивши їх на квадратний корінь матриці коваріації, наприклад, на c h o l ( Σ ) . Це висвітлено у багатьох потоках резюме, наприклад, тут: Як я можу генерувати дані заздалегідь визначеною кореляційною матрицею? Ось проста реалізація Matlab:$n$$d$$\boldsymbol \Sigma$$\mathrm{chol}(\boldsymbol \Sigma)$

n = 100;
d = 2;
Sigma = [ 1    0.7  ; ...
          0.7   1   ];
rng(42)
X = randn(n, d) * chol(Sigma);

Зразок матриці коваріації отриманих даних, звичайно, не буде точно ; наприклад, у наведеному вище прикладі повертається$\boldsymbol \Sigma$cov(X)

1.0690    0.7296
0.7296    1.0720

Як генерувати дані за попередньо заданим зразком кореляцією або коваріаційною матрицею?

Як писав @Glen_b, після генерування даних зі стандартного Гаусса, центр відбілює і стандартизує їх, щоб він мав зразок коваріантної матриці ; лише тоді помножте його на c h o l ( Σ ) .$\mathbf I$$\mathrm{chol}(\boldsymbol \Sigma)$

Ось продовження мого прикладу Matlab:

X = randn(n, d);
X = bsxfun(@minus, X, mean(X));
X = X * inv(chol(cov(X)));
X = X * chol(Sigma);

Тепер cov(X), як потрібно, повертається

1.0000    0.7000
0.7000    1.0000