Чи оптимізація PCA опукла?

Цільова функція аналізу головних компонент (PCA) є мінімізація похибки відновлення в нормі L2 (дивіться розділ 2.12 тут Інший вид намагається максимізувати дисперсію на проекції У нас також є відмінний пост тут: .. Яка цільова функція PCA ? ).

Моє запитання полягає в тому, що оптимізація PCA опукла? (Я знайшов тут деякі дискусії , але бажаю, щоб хтось міг надати хороший доказ тут у резюме).

Ні, звичайні рецептури PCA не є опуклими проблемами. Але вони можуть бути перетворені на проблему опуклої оптимізації.

Розуміння і задоволення від цього - це слідування та візуалізація послідовності перетворень, а не просто отримання відповіді: вона лежить у подорожі, а не в пункті призначення. Основні кроки у цій мандрівці - це

1. Отримайте просте вираження для цільової функції.

2. Збільшити його домен, який не є опуклим, на той, який є.

3. Змініть ціль, яка не є опуклою, на ту, яка є, таким чином, що очевидно не змінює точки, в яких вона досягає своїх оптимальних значень.

Якщо ви будете пильно стежити, ви можете бачити мультиплікатори SVD та Lagrange, які ховаються - але вони просто бічні покази, для цікавого сценографії, і я більше не буду їх коментувати.

---

Стандартна формула, що максимізує дисперсію PCA (або принаймні її ключовий крок)

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

де матриця - симетрична, позитивно-напівдефінітна матриця, побудована з даних (зазвичай її сума квадратів і матриця продуктів, її матриця коваріації або її кореляційна матриця).$n\times n$$\mathbb A$

(Еквівалентно, ми можемо спробувати домогтися максимальної необмеженої мети . Це не лише виразний вираз - це вже не квадратична функція, - але і графічні особливі випадки швидко покажіть, що це не випукла функція. Зазвичай, зауважуємо, що ця функція є інваріантною за шкалою а потім зводить її до обмеженої рецептури .)x → λ x ( ∗ $x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

Будь-яка проблема оптимізації може бути абстрактно сформульована як

Знайдіть хоча б один який робить функцію якомога більшою. f : X → $x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

Нагадаємо, що проблема оптимізації випукла, коли вона має дві окремі властивості:

1. Домен опукла. $\mathcal{X}\subset\mathbb{R}^n$ Це можна сформулювати багатьма способами. Одне полягає в тому, що коли і і , також . Геометрично: всякий раз , коли дві кінцеві точки відрізка лінії лежать в , весь відрізок лежить в . y∈ X 0≤λ≤1λx+(1-λ)y∈ X X $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. Функція опукла. $f$ Це також можна сформулювати багатьма способами. Одне полягає в тому, що коли і і ,(Потрібно було, щоб був опуклим, щоб ця умова мала будь-який сенс.) Геометрично: коли - будь-який відрізок рядка в , графік (як обмежено цим сегментом) лежить вище або на відрізку, що з'єднує і в . y ∈ X 0 ≤ λ ≤ 1 f ( λ x + ( 1 - λ ) y ) ≥ λ f ( x ) + ( 1 - λ ) f ( y ) . X ¯ x y X f ( x , f ( x ) ) ( y , f ( $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$$\bar{xy}$$\mathcal X$$f$$(x,f(x))$R n + $(y,f(y))$$\mathbb{R}^{n+1}$

   Архетип опуклої функції локально скрізь параболічний з непозитивним провідним коефіцієнтом: на будь-якому відрізку лінії він може бути виражений у вигляді з$y\to a y^2 + b y + c$$a \le 0.$

Складність полягає в тому, що - це одинична сфера , яка, очевидно, не опукла. $(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ Однак ми можемо змінити цю проблему, включивши менші вектори. Це тому, що коли ми масштабуємо на коефіцієнт , множимо на . Коли , ми можемо масштабувати до одиниці довжини, помноживши його на , тим самим збільшуючи але залишаючись у межах одинична куля .$x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ Тому давайте переформулюємо як$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

Його домен що явно опуклий, тому ми там на півдорозі. Залишається розглянути опуклість графа .$\mathcal{X}=D^n$$f$

Хороший спосіб подумати над проблемою навіть якщо ви не маєте наміру проводити відповідні обчислення - це з точки зору спектральної теореми. $(**)$ Це говорить про те, що за допомогою ортогонального перетворення ви можете знайти принаймні одну основу в якій є діагональною: тобто$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

де всі позадіагональні записи дорівнюють нулю. Такий вибір можна вважати таким, що взагалі нічого не змінює , а просто змінює те, як ви його описуєте : коли ви обертаєте свою точку зору, осі рівня гіперповерхні функції (які завжди були еліпсоїдами) узгоджуються з осями координат.$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

Оскільки є позитивним-напіввизначеним, всі діагональні записи повинні бути невід'ємними. Ми можемо надалі переставляти осі (що є лише черговим ортогональним перетворенням, і тому ми можемо бути поглинені в ), щоб переконатися, що$\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

Якщо дозволити - нові координати (що позначає ), функцією є$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

Ця функція, очевидно, не опукла! Його графік виглядає як частина гіперпараболоїда: у кожній точці факт, що всі невід'ємні, змушує скручуватися вгору, а не вниз . $\mathcal X$$\sigma_i$

Однак ми можемо перетворити в опуклу проблему однією дуже корисною технікою. $(**)$ Знаючи, що максимум виникне там, де , віднімемо константу від , принаймні для точок на межі . Це не змінить розташування будь-яких точок на тій межі, в якій оптимізовано , оскільки воно знижує всі значення на межі на те саме значення . Це говорить про вивчення функції$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

Це дійсно віднімає константу від у граничних точках, а у внутрішніх точках віднімає менші значення. Це буде гарантувати , що , по порівнянні з , не має ніякого нового глобального максимуму на внутрішній частині .$\sigma_1$$f$$g$$f$$\mathcal X$

Давайте розглянемо, що сталося з цією хитрою рукою заміни на . Оскільки є ортогональним, . (Це практично визначення ортогонального перетворення.) Тому з точки зору координат можна записати$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Оскільки для всіх , кожен з коефіцієнтів дорівнює нулю або від'ємному. Отже, (a) опуклий і (b) оптимізований, коли . ( тоді означає а оптимум досягається, коли , який є - до знак - перший стовпець )$\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

Давайте переформулюємо логіку. Оскільки оптимізовано на межі де , тому що відрізняється від просто постійною на цій межі і тому, що значення ще ближче до значень на внутрішній частині , максимуми повинні збігатися з максимумами .$g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

Немає.

Ранг PCA матриці можна сформулювати як$k$$M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

( - норма Фробеніуса ). Для виведення див теорему Еккарта-Юнга .$\|\cdot\|_F$

Хоча норма є опуклою, множина, над якою вона оптимізована, є невипуклою.

---

Опуклим релаксації завдання РПЖ, називається Опуклі Низький ранг Апроксимація

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

( - це ядерна норма . це опукле релаксацію рангу - так само, як - це опукле розслаблення кількості ненульових елементів для векторів) ‖ ⋅ ‖ $\|\cdot\|_*$$\|\cdot\|_1$

Для детальної інформації ви можете ознайомитись зі статистичним навчанням із розрідженням , гл 6 (матричні декомпозиції).

Якщо вас цікавлять більш загальні проблеми та їх відношення до опуклості, див. Узагальнені моделі низького рангу .

Відмова від відповідальності: Попередні відповіді досить добре пояснюють, як PCA у своїй оригінальній рецептурі не випуклий, але може бути перетворений на проблему оптимізації опуклості. Моя відповідь призначена лише для тих бідних душ (таких як я), які не так добре знайомі з жаргоном Unit Spheres і SVD - що, до речі, добре знати.

Моє джерело - це конспекти лекцій проф. Тібшірані

Щоб проблема оптимізації була вирішена за допомогою опуклої методики оптимізації, є дві передумови.

1. Цільова функція повинна бути опуклою.
2. Функції обмеження також повинні бути опуклими.

Більшість рецептур PCA передбачають обмеження на ранг матриці.

У таких типах рецептур PCA, умова 2 порушується. Тому що, обмеження, що не є опуклим. Наприклад, нехай , буде 2 × 2 нульовими матрицями з одиничною 1 у верхньому лівому куті та в правому нижньому куті відповідно. Тоді кожен з них має ранг 1, але їх середнє значення має 2 ранг.J 11 J $rank(X) = k,$$J_{11}$$J_{22}$