Оберніть компоненти PCA, щоб вирівняти дисперсію в кожному компоненті

Я намагаюся зменшити розмірність і шум набору даних, виконуючи PCA на наборі даних і викидаючи останні кілька ПК. Після цього я хочу використовувати деякі алгоритми машинного навчання на решті ПК, і тому хочу нормалізувати дані, вирівнюючи дисперсію ПК, щоб алгоритми працювали краще.

Один простий спосіб - просто нормалізувати дисперсію до одиничних значень. Однак перший ПК містить більше відхилень від початкового набору даних, ніж наступні, і я все одно хочу надати йому більше «ваги». Тому мені було цікаво: чи існує простий спосіб просто розділити свою дисперсію та поділитися нею з ПК з меншими дисперсіями?

Інший спосіб - зіставити ПК назад у вихідний простір функцій, але в цьому випадку розмірність також збільшиться до вихідного значення.

Я думаю, що краще зберегти отримані стовпчики ортогональними, але це наразі не обов'язково.

Мені не зовсім зрозуміло, що те, що ви запитуєте, те, що вам насправді потрібно: загальний крок попередньої обробки в машинному навчанні - це зменшення розмірності + відбілювання, що означає виконання PCA та стандартизацію компонентів, нічого іншого. Але я все ж зупинюсь на вашому питанні, як це сформульовано, адже це цікавіше.

---

Дозволяє $\mathbf X$ бути центром $n\times d$матриця даних із точками даних у рядках та змінними у стовпцях. PCA дорівнює сингулярному розкладанню величини

$$\mathbf X = \mathbf{USV}^\top \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top,$$ де виконати зменшення розмірності, ми зберігаємо лише $k$компоненти. Ортогональне "факторне обертання" цих компонентів передбачає вибір ортогонального$k \times k$ матриця $\mathbf R$ і підключивши його до розкладання: $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf {RR}^\top \mathbf S_k \mathbf V_k^\top = \underbrace{\sqrt{n-1}\mathbf U_k^\phantom\top \mathbf {R}}_{\substack{\text{Rotated}\\\text{standardized scores}}} \cdot \underbrace{\mathbf R^\top \mathbf S_k \mathbf V_k^\top/\sqrt{n-1}}_{\text{Rotated loadings}^\top}.$$ Ось $\sqrt{n-1}\mathbf U_k \mathbf R$обертаються стандартизованими компонентами, а другий член представляє поворотні вантажі, що переміщуються. Дисперсія кожного компонента після обертання задається сумою квадратів відповідного вектора навантаження; перед обертанням просто . Після обертання це щось інше.$s_i^2/(n-1)$

Тепер ми готові сформулювати задачу в математичному відношенні: задані невратовані навантаження , знаходимо матрицю обертання таким, що обертові навантаження, , має рівну суму квадратів у кожному стовпчику.$\mathbf L = \mathbf V_k \mathbf S_k / \sqrt{n-1}$$\mathbf R$$\mathbf L \mathbf R$

Давайте вирішимо. Сума стовпців квадратів після обертання дорівнює діагональним елементам Це має сенс: обертання просто перерозподіляє дисперсії компонентів, які спочатку задаються між ними, відповідно до цієї формули. Нам потрібно їх перерозподілити, щоб вони всі дорівнювали середньому значенню .

$$(\mathbf {LR})^\top \mathbf{LR} = \mathbf R^\top \frac{\mathbf S^2}{n-1} \mathbf R.$$ $s_i^2/(n-1)$$\mu$

Я не думаю, що для цього є рішення закритої форми, і насправді існує багато різних рішень. Але рішення можна легко побудувати послідовно:

1. Візьміть перший компонент і -й компонент. Перший має дисперсію а останній - дисперсію .$k$$\sigma_\text{max}>\mu$$\sigma_\text{min}<\mu$
2. Оберніть лише ці два так, щоб дисперсія першого стала рівною . Матриця обертання у 2D залежить лише від одного параметра і легко записати рівняння та обчислити необхідне . Дійсно, і після перетворення перший ПК отримає дисперсію з якого ми одержуємо$\mu$$\theta$$\theta$ $$\mathbf R_\text{2D} = \left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin\theta & \cos \theta\end{array}\right)$$ $$\cos^2\theta \cdot \sigma_\text{max} + \sin^2\theta \cdot \sigma_\text{min} = \cos^2\theta \cdot \sigma_\text{max} + (1-\cos^2\theta)\cdot \sigma_\text{min} =\mu,$$ $$\cos^2\theta = \frac{\mu-\sigma_\text{min}}{\sigma_\text{max}-\sigma_\text{min}}.$$
3. Перший компонент зараз зроблений, він має дисперсію .$\mu$
4. Перехід до наступної пари, беручи компонент з найбільшою дисперсією та той, який має найменшу дисперсію. Гото №2.

Це дозволить перерозподілити всі дисперсії однаково послідовністю 2D обертів. Помноживши всі ці матриці обертання разом дасть загальну .$(k-1)$$\mathbf R$

---

Приклад

Розглянемо таку матрицю :Середня дисперсія . Мій алгоритм діятиме так:$\mathbf S^2/(n-1)$

$$\left(\begin{array}{cccc}10&0&0&0\\0&6&0&0\\0&0&3&0\\0&0&0&1\end{array}\right).$$ $5$

1. Крок 1: поверніть PC1 і PC4, щоб PC1 отримав дисперсію . В результаті PC4 отримує дисперсію .$5$$1+(10-5)=6$

2. Крок 2: поверніть PC2 (нова максимальна дисперсія) та PC3, щоб PC2 отримав дисперсію . В результаті PC3 отримує дисперсію .$5$$3+(6-5)=4$

3. Крок 3: поверніть PC4 (нова максимальна дисперсія) та PC3, щоб PC4 отримав дисперсію . В результаті PC3 отримує дисперсію .$5$$4+(6-1)=5$

4. Зроблено.

Я написав сценарій Matlab, який реалізує цей алгоритм (див. Нижче). Для цієї вхідної матриці послідовність кутів повороту:

48.1897   35.2644   45.0000

Відхилення компонентів після кожного кроку (у рядках):

10     6     3     1
 5     6     3     6
 5     5     4     6
 5     5     5     5

Кінцева матриця обертання (добуток трьох двовимірних матриць обертання):

 0.6667         0    0.5270    0.5270
      0    0.8165    0.4082   -0.4082
      0   -0.5774    0.5774   -0.5774
-0.7454         0    0.4714    0.4714

І остаточна матриця:$(\mathbf{LR})^\top \mathbf{LR}$

5.0000         0    3.1623    3.1623
     0    5.0000    1.0000   -1.0000
3.1623    1.0000    5.0000    1.0000
3.1623   -1.0000    1.0000    5.0000

Ось код:

S = diag([10 6 3 1]);
mu = mean(diag(S));
R = eye(size(S));

vars(1,:) = diag(S);
Supdated = S;

for i = 1:size(S,1)-1
    [~, maxV] = max(diag(Supdated));
    [~, minV] = min(diag(Supdated));

    w = (mu-Supdated(minV,minV))/(Supdated(maxV,maxV)-Supdated(minV,minV));
    cosTheta = sqrt(w);
    sinTheta = sqrt(1-w);

    R2d = eye(size(S));
    R2d([maxV minV], [maxV minV]) = [cosTheta sinTheta; -sinTheta cosTheta];
    R = R * R2d;

    Supdated = transpose(R2d) * Supdated * R2d;    

    vars(i+1,:) = diag(Supdated);
    angles(i) = acosd(cosTheta);
end

angles                %// sequence of 2d rotation angles
round(vars)           %// component variances on each step
R                     %// final rotation matrix
transpose(R)*S*R      %// final S matrix

Ось код на Python, наданий @feilong:

def amoeba_rotation(s2):
    """
    Parameters
    ----------
    s2 : array
        The diagonal of the matrix S^2.

    Returns
    -------
    R : array
        The rotation matrix R.

    Examples
    --------
    >>> amoeba_rotation(np.array([10, 6, 3, 1]))
    [[ 0.66666667  0.          0.52704628  0.52704628]
     [ 0.          0.81649658  0.40824829 -0.40824829]
     [ 0.         -0.57735027  0.57735027 -0.57735027]
     [-0.74535599  0.          0.47140452  0.47140452]]

    http://stats.stackexchange.com/a/177555/87414
    """
    n = len(s2)
    mu = s2.mean()
    R = np.eye(n)
    for i in range(n-1):
        max_v, min_v = np.argmax(s2), np.argmin(s2)
        w = (mu - s2[min_v]) / (s2[max_v] - s2[min_v])
        cos_theta, sin_theta = np.sqrt(w), np.sqrt(1-w)
        R[:, [max_v, min_v]] = np.dot(
            R[:, [max_v, min_v]],
            np.array([[cos_theta, sin_theta], [-sin_theta, cos_theta]]))
        s2[[max_v, min_v]] = [mu, s2[max_v] + s2[min_v] - mu]
    return R

---

Зауважимо, що ця проблема повністю еквівалентна наступній: некорельованих змінних із відхиленнями , знайдіть обертання (тобто нову ортогональну основу), яка дасть змінних з однаковими відхиленнями (але, звичайно, більше не співвідносяться).$k$$\sigma_i^2$$k$

У своїй проникливій та вичерпній відповіді @amoeba показав - як частину відповіді - як можна обертати дві некорельовані змінні (наприклад, головні компоненти, наприклад), щоб досягти бажаних варіацій для них (хоча, за рахунок втрати некорельованості, звичайно) . Нехай ортогональні змінні$X$ і $Y$ мають відхилення $\sigma^2_{max}$ (більший) і $\sigma^2_{min}$(менший) відповідно. Поверніть їх так, щоб$X$ отримає довільну, зменшену дисперсію $\mu^2$ (поки $Y$отже, стане дисперсією $\sigma^2_{max}+\sigma^2_{min}-\mu^2$).

@amoeba показує формулу, з якої ми можемо обчислити кут такого обертання, $\cos\theta$:

$$\mu^2 = \cos^2\theta (\sigma^2_{max}) + \sin^2\theta (\sigma^2_{min})$$

але не продемонстрував, звідки походить це рівняння; напевно, думаючи, що це очевидно без пояснень. Очевидно чи ні, я вважаю, що це варто з'ясувати - якимось чином. Моя відповідь представляє один спосіб.

Отже, у нас є еліпсоїдальне, зосереджене хмара даних у просторі некоррельованих змінних $X$ і $Y$. Треба обертати осі на кут$\theta$. Точка даних у хмарі (наприклад, на малюнку зображена зеленою плямою) з$X$ координувати $x$ матиме цю координату як $x^*$ після обертання.

Зауважте, що проекція координати $x$ виїмка на обертову вісь$X^*$ дається $x'=x\cos\theta$(катет як гіпотенуза і кут між ними). Зверніть увагу і на це$x^*$ менше, ніж $x'$ по розрізу довжини $x'-x^*$ обчислюється з координати $y$: $y\sin\theta$(ще один катет і гіпотенуза). І так,

$$x^* = x' - (x'-x^*) = x\cos\theta-y\sin\theta$$

Ми знаємо (див. Початок) дисперсії (або суми квадратів) двох змінних та дисперсії (сума квадратів) $\mu^2$ з $X^*$. Потім випливає:

$$\mu^2=\sum x^{*2} = \sum(x\cos\theta-y\sin\theta)^2 = \sum(x^2\cos^2\theta+y^2\sin^2\theta-2xy\cos\theta\sin\theta) = \cos^2\theta\sum x^2 + \sin^2\theta\sum y^2 - \underbrace{ 2\cos\theta\sin\theta\sum xy}_{\text{=0 (X and Y are uncorrelated)}} = \cos^2\theta (\sigma^2_{max}) + \sin^2\theta (\sigma^2_{min})$$

З якого ви оцінюєте $\cos\theta$, як показав @amoeba, і виконайте обертання.

Якщо я інтерпретую речі правильно, ви маєте на увазі, що перший компонент принципу (власне значення) пояснює більшість дисперсій у даних. Це може статися, коли ваш метод стиснення лінійний. Однак у вашому просторі можливостей можуть бути нелінійні залежності.

TL / DR: PCA - це лінійний метод. Використовуйте Autoencoders (нелінійні pca) для зменшення розмірності. Якщо частина машинного навчання знаходиться під наглядом, просто відстежуйте свою функцію втрат, коригуючи (гіпер) параметри для автокодера. Таким чином ви отримаєте набагато краще стиснуту версію своїх оригінальних даних.

Ось науковий приклад, коли вони роблять пошук по сітці, щоб знайти оптимальну кількість основних компонентів, які слід зберігати (гіперпараметр) за допомогою PCA. Нарешті, вони застосовують логістичну регресію на просторі нижнього розміру: http://scikit-learn.org/stable/auto_examples/plot_digits_pipe.html#example-plot-digits-pipe-py

Порада: Autoencoders не має рішення закритої форми (afaik), тому якщо ваш контекст передає потокові дані, це означає, що ви можете постійно оновлювати свій автокодер (стиснене представлення) і, таким чином, компенсувати такі речі, як поняття дрейфу. З pca вам доведеться час від часу тренувати пакетний режим, коли надходять нові дані.

Щодо надання деяким функціям більшої «ваги», див. Регуляризацію (я б почав із норм https://en.wikipedia.org/wiki/Norm_(mathematics) ). Ви також можете бути здивовані, наскільки схожа логістична регресія на перцептрон.