Дивні кореляції у результатах SVD випадкових даних; вони мають математичне пояснення чи це помилка LAPACK?

Я спостерігаю дуже дивну поведінку за результатами SVD випадкових даних, які я можу відтворити як у Matlab, так і R. Це виглядає як чисельне числове питання в бібліотеці LAPACK; є це?

Я витягую зразків з мірних гауссів з нульовою середньою і коваріацією тотожності: . Я зібрати їх в даних матриця . (Я необов'язково можу централізувати чи ні, це не впливає на наступне.) Потім я виконую розкладання сингулярного значення (SVD), щоб отримати \ mathbf X = \ mathbf {USV} ^ \ top . Давайте візьмемо деякі два окремих елементів \ mathbf U , наприклад , и- {11} і и- {22} , і запитати , що кореляція між ними за різними розіграшів \ mathbf X . Я б очікував, що якщо числоk = 2 X ∼ N ( 0 , I ) 1000 × 2 X X X = U S V ⊤ U U 11 U 22 X N r e $n=1000$$k=2$$X\sim \mathcal N (0, \mathbf I)$$1000 \times 2$$\mathbf X$$\mathbf X$$\mathbf X=\mathbf{USV}^\top$$\mathbf U$$U_{11}$$U_{22}$$\mathbf X$$N_\mathrm{rep}$ розіграшів досить великий, тоді всі такі кореляції повинні бути приблизно нульовими (тобто кореляції сукупності повинні бути нульовими, а вибіркові кореляції - невеликими).

Однак я спостерігаю деякі дивно сильні кореляції (близько $\pm0.2$ ) між $U_{11}$ , $U_{12}$ , $U_{21}$ та $U_{22}$ , і лише між цими елементами. Усі інші пари елементів мають кореляцію навколо нуля, як очікувалося. Ось як виглядає матриця кореляції для $20$ "верхніх" елементів $\mathbf U$ (спочатку $10$ елементів першого стовпця, потім перші $10$ елементів другого стовпця):

Помітьте дивно високі значення у верхньому лівому куті кожного квадранта.

Саме цей коментар @ whuber привернув цей ефект до моєї уваги. @whuber стверджував, що PC1 та PC2 не є незалежними, і представив це сильне співвідношення як доказ цього. Однак моє враження таке, що він випадково виявив числову помилку в бібліотеці LAPACK. Що тут відбувається?

Ось код R @ whuber:

stat <- function(x) {u <- svd(x)$u; c(u[1,1], u[2, 2])};
Sigma <- matrix(c(1,0,0,1), 2);
sim <- t(replicate(1e3, stat(MASS::mvrnorm(10, c(0,0), Sigma))));
cor.test(sim[,1], sim[,2]);

Ось мій код Matlab:

clear all
rng(7)

n = 1000;     %// Number of variables
k = 2;        %// Number of observations
Nrep = 1000;  %// Number of iterations (draws)

for rep = 1:Nrep
    X = randn(n,k);
    %// X = bsxfun(@minus, X, mean(X));
    [U,S,V] = svd(X,0);

    t(rep,:) = [U(1:10,1)' U(1:10,2)'];
end

figure
imagesc(corr(t), [-.5 .5])
axis square
hold on
plot(xlim, [10.5 10.5], 'k')
plot([10.5 10.5], ylim, 'k')

Це не помилка.

Як ми вивчили (широко) в коментарях, відбувається дві речі. Перший полягає в тому, що стовпці обмежені для задоволення вимог SVD: кожна повинна мати одиницю довжини і бути ортогональною для всіх інших. Перегляд як випадкова величина , створена з випадковою матриці через конкретний алгоритм SVD, ми тим самим відзначити , що це функціонально незалежним обмеження створюють статистичні залежності між стовпцями .$U$$U$$X$$k(k+1)/2$$U$

Ці залежності можуть бути виявлені більшою чи меншою мірою, вивчаючи кореляції між компонентами , але виникає друге явище : рішення SVD не є унікальним. Як мінімум, кожен стовпчик можна незалежно заперечувати, даючи щонайменше чітких розв’язків з стовпцями. Сильні кореляції (що перевищують ) можуть бути викликані зміною знаків стовпців відповідним чином. (Один із способів зробити це наведено в моєму першому коментарі до відповіді Амеби в цій темі: я змушую всі$U$$U$$2^k$$k$$1/2$$u_{ii},i=1,\ldots, k$мати однаковий знак, роблячи всі негативні або всі позитивні з однаковою ймовірністю.) З іншого боку, всі кореляції можна зникнути, вибравши знаки випадковим чином, незалежно, з однаковою ймовірністю. (Я наводжу приклад нижче в розділі "Редагувати".)

З обережністю, ми можемо частково розрізнити обидва ці явища при читанні діаграми розсіювання матриці компонентів . Деякі характеристики - наприклад, поява точок, майже рівномірно розподілених у чітко визначених кругових регіонах - вважають відсутністю незалежності. Інші, наприклад, розсіювачі, що демонструють чіткі ненульові кореляції, очевидно, залежать від вибору, зробленого в алгоритмі - але такий вибір можливий лише через відсутність незалежності в першу чергу.$U$

Кінцева перевірка алгоритму розкладання типу SVD (або Чолеського, LR, LU тощо) - це те, чи робить він те, що вимагає. У цій обставині достатньо перевірити, що коли SVD повертає трійку матриць $(U, D, V)$ , що $X$ відновляється до очікуваної помилки з плаваючою комою продуктом $UDV^\prime$ ; що стовпчики $U$ і $V$ є ортонормальними; і що $D$ є діагональною, його діагональні елементи невід’ємні та розташовані у низхідному порядку. Я застосував такі тести до svdалгоритму вRі ніколи не виявили це помилково. Хоча це не впевненість, що це абсолютно правильно, такий досвід - який, на мою думку, поділяється багатьма людьми - говорить про те, що будь-яка помилка потребує певного вкладу, щоб проявити її.

Далі йде більш детальний аналіз конкретних моментів, порушених у питанні.

Використовуючи процедуру R' svdспершу, ви можете перевірити, що зі збільшенням $k$ кореляції між коефіцієнтами $U$ слабшають, але вони все ще не нульові. Якби ви просто мали виконати велике моделювання, ви виявили б, що вони значні. (Коли $k=3$ , має бути достатньо 50000 ітерацій.) Всупереч твердженню у питанні, кореляції не «повністю зникають».

По-друге, кращим способом вивчення цього явища є повернення до основного питання незалежності коефіцієнтів. Хоча кореляція, як правило, майже до нуля, відсутність незалежності чітко очевидна. Це стало найбільш очевидним при вивченні повного багатомірного розподілу коефіцієнтів $U$ . Характер розподілу проявляється навіть у невеликих моделюваннях, в яких ненульові кореляції ще не можна виявити. Наприклад, вивчіть матрицю розсіювання коефіцієнтів. Щоб зробити це практично, я встановив розмір кожного модельованого набору даних на $4$ і зберігав $k=2$ , таким чином малюючи $1000$реалізація матриці $4\times 2$$U$ , створюючи матрицю $1000\times 8$ . Ось його повна матриця розсіювання зі змінними, переліченими за їх положеннями в межах $U$ :

Сканування першого стовпця виявляє цікаву відсутність незалежності між $u_{11}$ та іншим $u_{ij}$ : подивіться, як, наприклад, верхній квадрант розсіювача з $u_{21}$ майже вакантний; або вивчіть еліптичну хмару вгору нахилу, що описує співвідношення $(u_{11}, u_{22})$ і хмару, що спадає вниз, для пари $(u_{21}, u_{12})$ . Уважний погляд виявляє явну відсутність незалежності майже всіх цих коефіцієнтів: мало хто з них виглядає віддалено незалежним, хоча більшість з них демонструє кореляцію майже до нуля.

(Примітка. Більшість кругових хмар - це проекції з гіперсфери, створеної умовою нормалізації, що змушує суму квадратів усіх компонентів кожного стовпця бути одиницею.)

Матриці Scatterplot з $k=3$ та $k=4$ демонструють подібні закономірності: ці явища не обмежуються $k=2$ , а також не залежать від розміру кожного модельованого набору даних: їх просто важче створити та вивчити.

Пояснення цих шаблонів стосуються алгоритму, який використовується для отримання $U$ при розкладанні значення сингулярного значення, але ми знаємо, що такі закономірності незалежності повинні існувати за самими визначальними властивостями $U$ : оскільки кожен наступний стовпчик (геометрично) є ортогональним попередньому ці умови ортогональності накладають функціональні залежності серед коефіцієнтів, які тим самим переводяться на статистичні залежності серед відповідних випадкових величин.

Редагувати

У відповідь на коментарі, можливо, варто зауважити, наскільки ці явища залежності відображають основний алгоритм (для обчислення СВД) та наскільки вони притаманні природі процесу.

У конкретних моделях кореляцій між коефіцієнтами залежать багато від довільних виборів , зроблених з допомогою алгоритму SVD, тому що рішення не є унікальним: стовпці $U$ завжди можуть бути незалежно множаться на $-1$ або $1$ . Немає внутрішнього способу вибору знаку. Таким чином, коли два алгоритми SVD роблять різний (довільний або, можливо, навіть випадковий) вибір знаку, вони можуть спричинити різні шаблони розсіювання значень $(u_{ij}, u_{i^\prime j^\prime})$ . Якщо ви хочете це побачити, замініть statфункцію в коді нижче на

stat <- function(x) {
  i <- sample.int(dim(x)[1]) # Make a random permutation of the rows of x
  u <- svd(x[i, ])$u         # Perform SVD
  as.vector(u[order(i), ])   # Unpermute the rows of u
}

Це спочатку випадковим чином xупорядковує спостереження , виконує SVD, потім застосовує зворотне впорядкування, uщоб відповідати початковій послідовності спостереження. Оскільки ефект полягає у формуванні сумішей відбитих та повернутих версій оригінальних розсіювачів, то розсіювачі в матриці будуть виглядати набагато рівномірніше. Всі співвідношення вибірки будуть надзвичайно близькі до нуля (за побудовою: основні кореляції точно до нуля). Проте, відсутність незалежності все одно буде очевидно (в рівномірних кругових формах , які з'являються, в зокрема , між $u_{i,j}$ і $u_{i,j^\prime}$).

Відсутність даних у деяких квадрантах деяких оригінальних розсіювачів (показано на малюнку вище) виникає з того, як Rалгоритм SVD вибирає знаки для стовпців.

Нічого не змінюється щодо висновків. Оскільки другий стовпчик $U$ є ортогональним для першого, він (розглядається як багатоваріантна випадкова величина) залежить від першого (також розглядається як багатоваріантна випадкова величина). Не можна, щоб усі компоненти одного стовпця були незалежними від усіх компонентів іншого; все, що ви можете зробити, це подивитися на дані способами, які затушовують залежності - але залежність збережеться.

Тут оновлений Rкод для обробки випадків $k\gt 2$ та малювання частини матриці розсіювача.

k <- 2    # Number of variables
p <- 4    # Number of observations
n <- 1e3  # Number of iterations
stat <- function(x) as.vector(svd(x)$u)
Sigma <- diag(1, k, k); Mu <- rep(0, k)
set.seed(17)
sim <- t(replicate(n, stat(MASS::mvrnorm(p, Mu, Sigma))))
colnames(sim) <- as.vector(outer(1:p, 1:k, function(i,j) paste0(i,",",j)))
pairs(sim[, 1:min(11, p*k)], pch=".")

Ця відповідь представляє реплікацію результатів @ whuber у Matlab, а також пряму демонстрацію того, що кореляції є "артефактом" того, як реалізація SVD обирає знак для компонентів.

Враховуючи довгий ланцюжок потенційно заплутаних коментарів, я хочу підкреслити майбутніх читачів, що я повністю згоден з наступним:

1. У контексті цієї дискусії, , звичайно , є випадковою величиною.$\mathbf U$
2. Стовпці мають бути довжиною 1 . Це означає, що елементи всередині кожного стовпця не є незалежними; їхні квадрати дорівнюють одному. Однак це не означає ніякої кореляції між U i 1 і U j 1 для i ≠ j , а вибіркова кореляція повинна бути крихітною для великої кількості N r e p випадкових малюнків.$\mathbf U$$1$$U_{i1}$$U_{j1}$$i\ne j$$N_\mathrm{rep}$
3. Стовпці мають бути ортогональними. Це означає, що елементи з різних стовпців не є незалежними; їх крапковий добуток дорівнює нулю. Знову ж таки, це не означає жодної кореляції між U i 1 та U j 2 , і кореляція вибірки повинна бути крихітною.$\mathbf U$$U_{i1}$$U_{j2}$

Моє запитання було: чому ми бачимо високі співвідношення навіть для великої кількості випадкових малюнків N r e p = 1000 ?$\sim 0.2$$N_\mathrm{rep}=1000$

Ось реплікація прикладу @ whuber з , k = 2 та N r e p = 1000 у Matlab:$n=4$$k=2$$N_\mathrm{rep}=1000$

Зліва - кореляційна матриця, праворуч - розкидання ділянок, схожих на @ whuber's. Згода між нашими імітаціями здається ідеальною.

Тепер, виходячи з геніальної пропозиції @ttnphns, я призначаю випадкові знаки стовпцям , тобто після цього рядка:$U$

[U,S,V] = svd(X,0);

Додаю наступні два рядки:

U(:,1) = U(:,1) * sign(randn(1));
U(:,2) = U(:,2) * sign(randn(1));

Ось результат:

Усі кореляції зникають, саме так, як я сподівався від початку !

Як говорить @whuber, відсутність незалежності можна побачити в ідеальній круговій формі деяких ділянок розкидання (оскільки довжина кожного стовпця повинна дорівнювати , сума квадратів будь-яких двох елементів не може перевищувати 1 ). Але кореляції зникають.$1$$1$

Підсумовуючи всю проблему, ми бачимо, що сильні кореляції з'являються, оскільки LAPACK вибирає знаки для стовпців певним чином, який, здається, залежить від перших двох точок даних. $\mathbf U$Це, звичайно, не помилка, оскільки розкладання є правильним. Але LAPACK по суті створює ці "артефакти" кореляції, використовуючи свободу присвоєння знаків. Ці кореляції не відображають залежність елементів ; натомість вони відображають свободу у рішенні SVD та певну конвенцію LAPACK для її виправлення.$\mathbf U$

PS. Вітаємо @whuber за проходження репутації 100k сьогодні!

$x$$y$

$x$$y$