Як ефективно генерувати випадкові позитивні-семідефінітні кореляційні матриці?

Я хотів би мати можливість ефективно генерувати кореляційні матриці з позитивним семідефінітом (PSD). Мій метод різко сповільнюється, оскільки я збільшую розмір матриць, які потрібно генерувати.

1. Чи можете ви запропонувати якісь ефективні рішення? Якщо вам відомі будь-які приклади в Matlab, я буду дуже вдячний.
2. Коли ви генеруєте кореляційну матрицю PSD, як би ви вибрали параметри для опису матриць, які потрібно створити? Середня кореляція, стандартне відхилення кореляцій, власні значення?

Ви можете зробити це назад: кожну матрицю (набір усіх симетричних матриць PSD p × p ) можна розкласти як$C \in \mathbb{R}_{++}^p$$p \times p$

де O - ортонормальна матриця$C=O^{T}DO$$O$

Щоб отримати , спочатку генерувати випадковий базис ( V 1 , . . . , V р ) (де v я випадкові вектори, як правило , в ( - 1 , 1 ) ). Звідти, використовувати процес ортогоналізації Грама-Шмідта , щоб отримати ( у 1 , . . . . , У р ) = $O$$(v_1,...,v_p)$$v_i$$(-1,1)$$(u_1,....,u_p)=O$

має ряд пакетів, які можуть зробити ортогоналізацію GS випадковою основою ефективно, тобто навіть для великих розмірів, наприклад, "далекий" пакет. Хоча ви знайдете алгоритм GS на wiki, напевно, краще не вигадувати колесо і не піти на реалізацію matlab (одна, безумовно, існує, я просто не можу рекомендувати жодного).$R$

Нарешті, - діагональні матриці, елементи яких усі позитивні (це, знову ж таки, легко генерувати: генерувати p випадкові числа, квадратувати їх, сортувати їх та розміщувати до діагоналі тотожності p за матрицею p ).$D$$p$$p$$p$

Документ , що генерує випадкові кореляційні матриці на основі лоз та методу розширеного лука, зроблені Левандовським, Куровіккою та Джо (LKJ), 2009, забезпечує уніфіковану обробку та експозицію двох ефективних методів генерації випадкових кореляційних матриць. Обидва способи дозволяють генерувати матриці з рівномірного розподілу в певному точному значенні, визначеному нижче, прості у здійсненні, швидкі та мають додаткову перевагу від забавних імен.

Справжня симетрична матриця розміром з діагоналлю має d ( d - 1 ) / 2 унікальних позадіагональних елементів і тому може бути параметризована як точка в R d ( d - 1 ) / 2 . Кожна точка в цьому просторі відповідає симетричній матриці, але не всі вони є позитивно визначеними (як мають бути кореляційні матриці). Отже, кореляційні матриці утворюють підмножину R d ( d - 1 ) /$d \times d$$d(d-1)/2$$\mathbb R^{d(d-1)/2}$$\mathbb R^{d(d-1)/2}$ (фактично підключений опуклий підмножина), і обидва способи можуть генерувати точки з рівномірного розподілу по цій підмножині.

Я забезпечу власну реалізацію кожного методу MATLAB і проілюструю їх .$d=100$

Цибульний метод

Метод цибулі походить з іншого паперу (посилання №3 в LKJ) і належить його назві тому, що генеруються кореляційні матриці, починаючи з матриці і збільшуючи її стовпцем за стовпцем та рядком за рядком. Результат розподілу рівномірний. Я не дуже розумію математику за методом (і все одно віддаю перевагу другому методу), але ось результат:$1\times 1$

Тут і нижче в заголовку кожного субплота відображаються найменші та найбільші власні значення, а також визначальний (добуток усіх власних значень). Ось код:

%// ONION METHOD to generate random correlation matrices distributed randomly
function S = onion(d)
    S = 1;
    for k = 2:d
        y = betarnd((k-1)/2, (d-k)/2); %// sampling from beta distribution
        r = sqrt(y);
        theta = randn(k-1,1);
        theta = theta/norm(theta);
        w = r*theta;
        [U,E] = eig(S);
        R = U*E.^(1/2)*U';             %// R is a square root of S
        q = R*w;
        S = [S q; q' 1];               %// increasing the matrix size
    end
end

Розширений метод цибулі

LKJ трохи модифікують цей метод, щоб мати можливість вибірки кореляційних матриць з розподілу, пропорційного [ d e $\mathbf C$ . Чим більший η , тим більшим буде визначник, тобто генеровані кореляційні матриці все більше і більше наближаються до матриці ідентичності. Значення η = 1 відповідає рівномірному розподілу. На малюнку нижче матриці формуються з η = 1 , 10 , 100 , 1000 , $[\mathrm{det}\:\mathbf C]^{\eta-1}$$\eta$$\eta=1$ .$\eta={1, 10, 100, 1000, 10\:000, 100\:000}$

Чомусь для отримання визначника того ж порядку величини, що і у методі цибулі ванілі, мені потрібно поставити а не η = 1 (як стверджує LKJ). Не впевнений, де помилка.$\eta=0$$\eta=1$

%// EXTENDED ONION METHOD to generate random correlation matrices
%// distributed ~ det(S)^eta [or maybe det(S)^(eta-1), not sure]
function S = extendedOnion(d, eta)
    beta = eta + (d-2)/2;
    u = betarnd(beta, beta);
    r12 = 2*u - 1;
    S = [1 r12; r12 1];  

    for k = 3:d
        beta = beta - 1/2;
        y = betarnd((k-1)/2, beta);
        r = sqrt(y);
        theta = randn(k-1,1);
        theta = theta/norm(theta);
        w = r*theta;
        [U,E] = eig(S);
        R = U*E.^(1/2)*U';
        q = R*w;
        S = [S q; q' 1];
    end
end

Виноградний метод

Спочатку метод лози був запропонований Джо (J в LKJ) і вдосконалений LKJ. Мені це подобається більше, тому що це концептуально простіше, а також простіше змінювати. Ідея полягає у створенні часткових кореляцій (вони незалежні і можуть мати будь-які значення з [ - 1 , 1 $d(d-1)/2$$[-1, 1]$без будь-яких обмежень), а потім перетворити їх у необроблені кореляції за допомогою рекурсивної формули. Зручно організувати обчислення в певному порядку, і цей графік відомий як "лоза". Важливо, якщо часткові кореляції відібрані з конкретних бета-розподілів (різних для різних клітин у матриці), то отримана матриця розподілиться рівномірно. Тут знову ж таки LKJ вводить додатковий параметр для вибірки з розподілу, пропорційного [ d e $\eta$ . Результат ідентичний розширеній цибулі:$[\mathrm{det}\:\mathbf C]^{\eta-1}$

%// VINE METHOD to generate random correlation matrices
%// distributed ~ det(S)^eta [or maybe det(S)^(eta-1), not sure]
function S = vine(d, eta)
    beta = eta + (d-1)/2;   
    P = zeros(d);           %// storing partial correlations
    S = eye(d);

    for k = 1:d-1
        beta = beta - 1/2;
        for i = k+1:d
            P(k,i) = betarnd(beta,beta); %// sampling from beta
            P(k,i) = (P(k,i)-0.5)*2;     %// linearly shifting to [-1, 1]
            p = P(k,i);
            for l = (k-1):-1:1 %// converting partial correlation to raw correlation
                p = p * sqrt((1-P(l,i)^2)*(1-P(l,k)^2)) + P(l,i)*P(l,k);
            end
            S(k,i) = p;
            S(i,k) = p;
        end
    end
end

Виноградний метод з ручним відбором часткових кореляцій

$\pm 1$$[0,1]$$[-1, 1]$$\alpha=\beta={50, 20, 10, 5, 2, 1}$. Чим менші параметри бета-розподілу, тим більше він сконцентрований біля країв.

Зауважте, що в цьому випадку розподіл не гарантується, що перестановка буде інваріантною, тому я додатково випадково перестановлюю рядки та стовпці після генерації.

%// VINE METHOD to generate random correlation matrices
%// with all partial correlations distributed ~ beta(betaparam,betaparam)
%// rescaled to [-1, 1]
function S = vineBeta(d, betaparam)
    P = zeros(d);           %// storing partial correlations
    S = eye(d);

    for k = 1:d-1
        for i = k+1:d
            P(k,i) = betarnd(betaparam,betaparam); %// sampling from beta
            P(k,i) = (P(k,i)-0.5)*2;     %// linearly shifting to [-1, 1]
            p = P(k,i);
            for l = (k-1):-1:1 %// converting partial correlation to raw correlation
                p = p * sqrt((1-P(l,i)^2)*(1-P(l,k)^2)) + P(l,i)*P(l,k);
            end
            S(k,i) = p;
            S(i,k) = p;
        end
    end

    %// permuting the variables to make the distribution permutation-invariant
    permutation = randperm(d);
    S = S(permutation, permutation);
end

Ось як шукають гістограми позадіагональних елементів для матриць вище (дисперсія розподілу монотонно зростає):

Оновлення: використання випадкових факторів

$k<d$$\mathbf W$$k \times d$$\mathbf W \mathbf W^\top$$\mathbf D$$\mathbf B = \mathbf W \mathbf W^\top + \mathbf D$$\mathbf C = \mathbf E^{-1/2}\mathbf B \mathbf E^{-1/2}$$\mathbf E$$\mathbf B$$k={100, 50, 20, 10, 5, 1}$

І код:

%// FACTOR method
function S = factor(d,k)
    W = randn(d,k);
    S = W*W' + diag(rand(1,d));
    S = diag(1./sqrt(diag(S))) * S * diag(1./sqrt(diag(S)));
end

Ось обгортковий код, який використовується для створення фігур:

d = 100; %// size of the correlation matrix

figure('Position', [100 100 1100 600])
for repetition = 1:6
    S = onion(d);

    %// etas = [1 10 100 1000 1e+4 1e+5];
    %// S = extendedOnion(d, etas(repetition));

    %// S = vine(d, etas(repetition));

    %// betaparams = [50 20 10 5 2 1];
    %// S = vineBeta(d, betaparams(repetition));

    subplot(2,3,repetition)

    %// use this to plot colormaps of S
    imagesc(S, [-1 1])
    axis square
    title(['Eigs: ' num2str(min(eig(S)),2) '...' num2str(max(eig(S)),2) ', det=' num2str(det(S),2)])

    %// use this to plot histograms of the off-diagonal elements
    %// offd = S(logical(ones(size(S))-eye(size(S))));
    %// hist(offd)
    %// xlim([-1 1])
end

$A$$A^TA$$y^T (A^TA) y \ge 0$$y$$y^T (A^TA) y = (Ay)^T Ay = ||Ay||$що є негативним. Тож у Matlab просто спробуйте

A = randn(m,n);   %here n is the desired size of the final matrix, and m > n
X = A' * A;

Залежно від програми, це може не дати вам розподілу власних значень, які ви хочете; Відповідь Квака в цьому плані набагато краща. Власні значення, Xвироблені цим фрагментом коду, повинні відповідати розподілу Марченко-Пастур.

Скажімо, для моделювання кореляційних матриць запасів, можливо, ви хочете дещо інший підхід:

k = 7;      % # of latent dimensions;
n = 100;    % # of stocks;
A = 0.01 * randn(k,n);  % 'hedgeable risk'
D = diag(0.001 * randn(n,1));   % 'idiosyncratic risk'
X = A'*A + D;
ascii_hist(eig(X));    % this is my own function, you do a hist(eig(X));
-Inf <= x <  -0.001 : **************** (17)
-0.001 <= x <   0.001 : ************************************************** (53)
 0.001 <= x <   0.002 : ******************** (21)
 0.002 <= x <   0.004 : ** (2)
 0.004 <= x <   0.005 :  (0)
 0.005 <= x <   0.007 : * (1)
 0.007 <= x <   0.008 : * (1)
 0.008 <= x <   0.009 : *** (3)
 0.009 <= x <   0.011 : * (1)
 0.011 <= x <     Inf : * (1)

$\mathbf{D}$$\mathbf{A}=\mathbf{Q}\mathbf{D}\mathbf{Q}^T$$\mathbf{Q}$

Ви не вказали розподіл для матриць. Два поширених - розподіл Вішарта та зворотний розподіл Вішарта. Розкладання Бартлетта дає Холецкого факторизации матриці випадкових Уішарт (які також можуть бути ефективно вирішені , щоб отримати випадкову зворотний Уішарт матрицю).

Насправді простір Чолеського - це зручний спосіб генерування інших типів випадкових матриць PSD, оскільки вам потрібно лише переконатися, що діагональ невід’ємна.

$U^TSU$

Якщо ви хочете мати більше контролю над сформованою симетричною матрицею PSD, наприклад, генерувати набір даних синтетичної перевірки, у вас є ряд параметрів. Симетрична матриця PSD відповідає гіпер-еліпсу в N-мірному просторі з усіма пов'язаними ступенями свободи:

1. Обертання.
2. Довжини осей.

Отже, для двовимірної матриці (тобто 2d еліпса) у вас буде 1 обертання + 2 осі = 3 параметри.

$\Sigma=ODO^T$$\Sigma$$O$$D$

$\Sigma$

figure;
mu = [0,0];
for i=1:16
    subplot(4,4,i)
    theta = (i/16)*2*pi;   % theta = rand*2*pi;
    U=[cos(theta), -sin(theta); sin(theta) cos(theta)];
    % The diagonal's elements control the lengths of the axes
    D = [10, 0; 0, 1]; % D = diag(rand(2,1));    
    sigma = U*D*U';
    data = mvnrnd(mu,sigma,1000);
    plot(data(:,1),data(:,2),'+'); axis([-6 6 -6 6]); hold on;
end

$U$

Дешевий і життєрадісний підхід, який я використовував для тестування, - це генерувати m N (0,1) n-вектори V [k], а потім використовувати P = d * I + суму {V [k] * V [k] '} як матриця nxn psd. З m <n це буде сингулярно для d = 0, а для малого d матиме високе число умови.