Яка об’єктивна функція PCA?

Аналіз основних компонентів може використовувати матричне розкладання, але це лише інструмент для того, щоб потрапити.

Як би ви знайшли основні компоненти без використання матричної алгебри?

Що таке об'єктивна функція (мета) та які обмеження?

Не намагаючись дати повний праймер на PCA, з точки зору оптимізації, основна мета функції - коефіцієнт Релея . Матриця, що зображує в коефіцієнті, є (деяким кратним) матриці коваріації вибірки , де кожен є вектор функцій і є матрицею , так що й рядки є .

$$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$$ $\x_i$$p$$\m{X}$$i$$\x_i^T$

PCA прагне вирішити послідовність проблем оптимізації. Перша в послідовності - необмежена проблема

$$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$$

Оскільки, наведена вище необмежена проблема еквівалентна обмеженій задачі $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

$$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$$

Ось, звідки надходить алгебра матриці. Оскільки є симетричною позитивною напівфінітною матрицею (за побудовою!), Вона має власнезначне розкладання виду де - ортогональна матриця (так ) і - діагональна матриця з негативними записами така, що .$\S$

$$\S = \Q \L \Q^T \>,$$ $\Q$$\Q \Q^T = \m{I}$$\L$$\lambda_i$$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

Отже, . Оскільки обмежена в задачі мати норму одиниці, то так і оскільки , в силу того, що є ортогональними.$\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$$\u$$\m{w}$$\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$$\Q$

Але, якщо ми хочемо максимально збільшити кількість при обмеженнях, що , то найкраще, що ми можемо зробити, - це встановити , тобто і для .$\sum_{i=1}^p \lambda_i w_i^2$$\sum_{i=1}^p w_i^2 = 1$$\m{w} = \m{e}_1$$w_1 = 1$$w_i = 0$$i > 1$

Тепер, підтримуючи відповідне , що ми шукали в першу чергу, отримуємо, що де позначає перший стовпець , тобто власний вектор , що відповідає найбільшого власного значення . Значення цільової функції також легко видно .$\u$

$$\u^\star = \Q \m{e}_1 = \m{q}_1$$ $\m{q}_1$$\Q$$\S$$\lambda_1$

---

Решта основних векторів компонентів потім знаходять шляхом вирішення послідовності (індексованої ) задач на оптимізацію Отже, проблема однакова, за винятком того, що ми додаємо додаткове обмеження, що рішення має бути ортогональним для всіх попередніх рішень у послідовності. Це не важко розширити аргумент вище индуктивно , щоб показати , що рішення - го проблема, на самому ділі, , тим й власний вектор .$i$

$$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$$ $i$$\m{q}_i$$i$$\S$

---

Рішення РСА також часто виражаються в термінах сингулярного розкладання в . Щоб зрозуміти , чому, нехай . Тоді і так (строго кажучи, до підписання фліп) і .$\m{X}$$\m{X} = \m{U} \m{D} \m{V}^T$$n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$$\m{V} = \m{Q}$$\L = \m{D}^2 / n$

Основні компоненти знаходять, проектуючи на вектори основних компонентів. З щойно даної формулировки SVD видно, що $\m{X}$

$$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$$

Простота представлення як основних компонентів векторів, так і самих головних компонентів з точки зору SVD матриці ознак є однією з причин того, що особливості SVD настільки помітні в деяких методах лікування PCA.

Рішення, представлене кардиналом, фокусується на матриці коваріації зразка. Інша відправна точка - помилка відновлення даних за допомогою q -вимірної гіперплани. Якщо p -вимірні точки даних є це потрібно вирішити$x_1, \ldots, x_n$

$$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$$

для матриці з ортонормальними стовпцями та . Це дає найкращу реконструкцію q- реконструкції, виміряну евклідовою нормою, і стовпці рішення є першими q основними компонентами векторів.$p \times q$$\mathbf{V}_q$$\lambda_i \in \mathbb{R}^q$$\mathbf{V}_q$

Для фіксованих рішенням для та (це регресія) є $\mathbf{V}_q$$\mu$$\lambda_i$

$$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$$

Для зручності нотації припустимо, що були зосереджені в наступних обчисленнях. Тоді нам доведеться мінімізувати $x_i$

$$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$$

над з ортонормальними стовпцями. Зверніть увагу, що - проекція на q -вимірний простір стовпців. Отже, задача еквівалентна мінімізації над рангом Q проекцій . Тобто нам потрібно максимізувати над рангом q проекцій , де - матриця вибіркової коваріації. Тепер$\mathbf{V}_q$$P = \mathbf{V}_q\mathbf{V}_q^T$

$$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$$ $P$ $$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$$ $P$$\mathbf{S}$ $$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$$ де - (ортонормальні) у , а аргументи, представлені у відповіді @ кардинала, показують, що максимум отримується, приймаючи ' s бути власними векторами для з найбільшими власними значеннями.$u_1, \ldots, u_q$$q$$\mathbf{V}_q$$u_i$$q$$\mathbf{S}$$q$

Помилка реконструкції передбачає ряд корисних узагальнень, наприклад, рідкісні головні компоненти або реконструкції низькомірними колекторами замість гіперпланів. Докладніше див. Розділ 14.5 в Елементах статистичного навчання .

Дивіться NIPALS ( wiki ) щодо одного алгоритму, який явно не використовує матричне розкладання. Я припускаю, що це ви маєте на увазі, коли ви говорите, що хочете уникнути матричної алгебри, оскільки ви дійсно не можете уникнути матричної алгебри тут :)