"Нормалізація" змінних для SVD / PCA

Припустимо , що ми маємо $N$ вимірних величин, $(a_1, a_2, \ldots, a_N)$ , ми робимо ряд $M > N$ вимірювань, а потім хочете виконати сингулярне розкладання за результатами , щоб знайти осі самої високої дисперсії для $M$ точок у $N$ -вимірному просторі. ( Примітка: припустить , що кошти я вже вичитав, так ⟨ а я ⟩ = 0 для всіх I ) .$a_i$$\langle a_i \rangle = 0$$i$

Тепер припустимо, що одна (або більше) змінних має значно іншу характеристичну величину, ніж решта. Наприклад , 1 може мати значення в діапазоні 10 - 100 , а решта може бути близько 0,1 - 1 . Це буде спотворювати вісь самої високої дисперсії в напрямку на 1 осі «и дуже багато.$a_1$$10-100$$0.1-1$$a_1$

Різниця у величинах може бути просто через невдалий вибір одиниці вимірювання (якщо ми говоримо про фізичні дані, наприклад, кілометри проти метрів), але насправді різні змінні можуть мати абсолютно різні розміри (наприклад, вага проти об'єму), так не може бути явного способу вибору "порівнянних" одиниць для них.

Питання: Я хотів би знати, чи існують якісь стандартні / поширені способи нормалізації даних, щоб уникнути цієї проблеми. Я більше зацікавлений в стандартних методах , які виробляють порівнянні величини для $a_1 - a_N$ для цієї мети , а не придумувати - щось нове.

EDIT: Однією можливістю є нормалізація кожної змінної за її стандартним відхиленням чи чимось подібним. Однак з'являється наступне питання: давайте інтерпретуємо дані як хмара точок у $N$ розмірному просторі. Цю точку хмари можна обертати, і цей тип нормалізації дасть різні кінцеві результати (після SVD) залежно від обертання. (Наприклад, в крайньому випадку, уявіть, як точно обертати дані, щоб вирівняти головні осі з основними осями.)

Я очікую, що це не буде інваріантним ротаційним способом, але я вдячний, якби хтось міг вказати мені на деяке обговорення цього питання в літературі, особливо щодо застережень в інтерпретації результатів.

Три поширені нормалізації - це центрування, масштабування та стандартизація.

Нехай - випадкова величина.$X$

Центрування -

Отриманий матиме ¯ x ∗ = 0 .$x^*$$\bar{x^*}=0$

Масштабування -

Отриманий матиме ∑ i x ∗ i 2 = 1 .$x^*$$\sum_{i}{{{x_i^*}}^2} = 1$

Стандартизація - це центрування, а потім масштабування. Отриманий матиме ¯ x ∗ = 0 і ∑ i x ∗ i 2 = 1 .$x^*$$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

Ви абсолютно праві, що наявність окремих змінних з дуже різними відхиленнями може бути проблемою для PCA, особливо якщо ця різниця обумовлена ​​різними одиницями або різними фізичними розмірами. З цієї причини, якщо змінні не всі порівнянні (однакова фізична величина, однакові одиниці), рекомендується виконувати PCA на кореляційній матриці замість коваріаційної матриці. Дивіться тут:

• PCA на кореляцію чи коваріацію?

Виконання PCA на кореляційній матриці еквівалентно стандартизації всіх змінних до аналізу (а потім робити PCA на коваріаційній матриці). Стандартизація означає центрування, а потім ділення кожної змінної на її стандартне відхилення, так що всі вони стають різницею одиниці. Це можна розглядати як зручну "зміну одиниць", щоб зробити всі одиниці порівнянними.

Можна запитати, чи може бути іноді кращий спосіб "нормалізації" змінних; наприклад, можна вибрати поділ на якусь надійну оцінку дисперсії замість сировинної дисперсії. Про це запитали в наступній темі, і подивіться витікаючу дискусію (хоча жодної однозначної відповіді там не було надано):

• Чому ми розділяємо стандартне відхилення, а не якийсь інший стандартизуючий коефіцієнт, перш ніж робити PCA?

Нарешті, ви переживали, що нормалізація за стандартним відхиленням (або чимось подібним) не є інваріантним обертанням. Ну так, це не так. Але, як зауважив @whuber у коментарі вище, не існує інваріантного обертання способу цього: зміна одиниць окремих змінних - це не інваріантна обертання обертання ! Тут нема чого хвилюватися.

Загальна методика перед застосуванням PCA - відняти середнє значення з зразків. Якщо цього не зробити, перший власний вектор буде середнім. Я не впевнений, чи ви це зробили, але дозвольте мені поговорити про це. Якщо ми говоримо в коді MATLAB: це так

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

Як видно з рисунка, я думаю, вам слід відняти середнє значення з даних, якщо ви хочете краще проаналізувати (спів) дисперсію. Тоді значення не будуть від 10-100 до 0,1-1, але їх середнє значення буде нульовим. Відхилення будуть знаходитись як власні значення (або квадрат сингулярних значень). На знайдені власні вектори не впливає масштабність розміру для випадку, коли ми віднімаємо середнє значення настільки ж, як у випадку, коли ми цього не робимо. Наприклад, я перевірив і спостерігав наступне, що говорить про віднімання середнього значення може мати значення для вашого випадку. Тож проблема може бути наслідком не дисперсії, а різниці в перекладі.

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

Для нормалізації даних для PCA також використовується наступна формула

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

$X$$c$$t$$X$