Мета функції PCA: який зв'язок між максимальною дисперсією та мінімізацією помилок?

Алгоритм PCA можна сформулювати за допомогою кореляційної матриці (припустимо, що дані вже нормалізовані, і ми розглядаємо лише проекцію на перший ПК). Цільову функцію можна записати так: $X$

max_{w} (X w)^{T} (X w) s.t. w^{T} w = 1.

$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$

Це добре, і для його вирішення використовуємо множники Лагрангія, тобто переписуємо їх як:

max_{w} [(X w)^{T} (X w) - λ w^{T} w],

$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$

що еквівалентно

max_{w} \frac{(X w)^{T} (X w)}{w^{T} w},

$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$

і, отже, ( див. тут на Mathworld ), схоже, дорівнює

max_{w} \sum_{i = 1}^{n} {(distance from point x_{i} to line w)}^{2} .

$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$

Але це говорить про те, щоб збільшити відстань між точкою та прямою, і з того, що я тут прочитав , це неправильно - це має бути $\min$ , а не $\max$ . Де моя помилка?

Або може мені хтось показати зв’язок між максимізацією дисперсії в прогнозованому просторі та мінімізацією відстані між точкою та лінією?

pca optimization

— Cam.Davidson.Pilon
джерело

Я думаю, що мінімальна відстань використовується для задоволення критерію ортогональності компонентів. Точки проектуються в ПК, які є ортогональними один одному, але в кожному послідовному компоненті решта дисперсії максимальна.

— Майкл Р. Черник

Підказка: Що трапляється, якщо спочатку розглядати найменше власне значення, а не найбільше?

— блукання

@whuber Найменший власне значення, мабуть, має ПК, який є вирішенням кінцевої цільової функції. Але цей ПК не забезпечує максимальної оригінальної цільової функції.

— Cam.Davidson.Pilon

Я не впевнений, що ви маєте на увазі під "кінцевою" та "оригінальною" цільовою функцією, Кам. PCA не є (концептуально) програмою оптимізації. Його вихід - це сукупність основних напрямків, а не лише один. Математична теорема (цікава) полягає в тому, що ці напрямки можна знайти, вирішивши послідовність обмежених квадратичних програм, але це не є основним для понять чи практики PCA. Я лише припускаю, що, орієнтуючись на найменше власне значення, а не на найбільше, ви можете узгодити дві ідеї (1) мінімізації відстаней та (2) з точки зору оптимізації PCA.

— whuber

Це гаразд - ваша відповідь була невірною версією того, що я намагався зробити.

— Cam.Davidson.Pilon

Нехай є центрованою матрицею даних з спостереженнями у рядках. Нехай є його коваріаційною матрицею. Нехай - одиничний вектор, що вказує вісь у змінному просторі. Ми хочемо бути першою основною віссю. $\newcommand{\X}{\mathbf X}\X$ $n$ $\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$ $\newcommand{\w}{\mathbf w}\w$ $\w$

Згідно з першим підходом, перша головна вісь максимізує дисперсію проекції (дисперсія першого головного компонента). Цю дисперсію $\X \w$

V a r (X w) = w^{⊤} X^{⊤} X w / (n - 1) = w^{⊤} Σ w .

$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$

Згідно з другим підходом, перша головна вісь мінімізує похибку відновлення між та її реконструкцією , тобто суму квадратних відстаней між вихідними точками та їх проекціями на . Квадрат помилки відновлення задається $\X$ $\X\w\w^\top$ $\w$

\begin{aligned} ‖ X - X w w^{⊤} ‖^{2} & = t r ((X - X w w^{⊤}) (X - X w w^{⊤})^{⊤}) \\ = t r ((X - X w w^{⊤}) (X^{⊤} - w w^{⊤} X^{⊤})) \\ = t r (X X^{⊤}) - 2 t r (X w w^{⊤} X^{⊤}) + t r (X w w^{⊤} w w^{⊤} X^{⊤}) \\ = c o n s t - t r (X w w^{⊤} X^{⊤}) \\ = c o n s t - t r (w^{⊤} X^{⊤} X w) \\ = c o n s t - c o n s t \cdot w^{⊤} Σ w . \end{aligned}

$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$

Помітьте знак мінус перед основним терміном. Через це мінімізація помилки відновлення означає максимізацію , що є дисперсією. Отже мінімізація похибки відновлення еквівалентна максимальній дисперсії; обидві рецептури дають однаковий . $\w^\top \S \w$ $\w$

— Амеба каже Відновити Моніку
джерело

Щось я помітив, чи не опукла функція (Що стосується як - PSD? Як ми намагаємося її максимально використовувати?

w^{T} Σ w

${w}^{T} \Sigma w$

w

$w$

Σ

$\Sigma$

— Royi

@amoeba, чи можете ви пояснити, як перейти від tr () до const на останньому кроці?

— Альберто

@alberto Що знаходиться у сліді - це число (1x1 матриця); слід від числа - це саме число, тому слід можна видалити. Константа з'являється тому, що дорівнює , тому є цей коефіцієнт .

Σ

$\Sigma$

X^{⊤} X / n

$X^\top X/n$

1 / n

$1/n$

— амеба каже, що повернеться до Моніки

@Leullame Обчислення буде дослідним для якщо це матриця з ортонормальними стовпцями. Вам потрібно щоб перейти від рядка №3 до рядка №4. Якщо матриця має ортонормальні стовпці, то дійсно буде проекцією на підпростір, що охоплюється стовпцями (тут - вектор рядка).

W

$W$

W^{⊤} W = I

$W^\top W = I$

W

$W$

x W W^{⊤}

$xWW^\top$

x

$x$

W

$W$

x

$x$

— амеба каже: Відновіть Моніку

@ DanielLópez Ну, ми шукаємо 1-мірний підпростір, мінімізуючи помилку відновлення. 1-мірний підпростір може бути визначений вектором одиничної норми, що вказує на його напрямок, яким саме вважається . Він має одиничну норму за конструкцією.

w

$w$

— Амеба каже: Відновити Моніку