Чи можливий градієнтний спуск для kernelized SVM (якщо так, то чому люди використовують квадратичне програмування)?

21

Чому люди використовують методи квадратичного програмування (наприклад, SMO) при роботі з ядрами SVM? Що не так з градієнтним узвозом? Чи неможливо користуватися ядрами або це занадто повільно (і чому?).

Ось трохи більше контексту: намагаючись зрозуміти SVMs трохи краще, я використовував Gradient Descent для підготовки лінійного класифікатора SVM, використовуючи наступну функцію витрат:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Я використовую такі позначення:

$\mathbf{w}$ - вагова характеристика моделі, а - її параметр зміщення. $b$
$\mathbf{x}^{(i)}$ - вектор функції навчального екземпляра . $i^\text{th}$
$y^{(i)}$ - цільовий клас (-1 або 1) для екземпляра. $i^\text{th}$
$m$ - кількість навчальних екземплярів.
$C$ - гіперпараметр регуляризації.

Я отримав (під) градієнтний вектор (щодо і ) з цього рівняння, і градієнтний спуск спрацював чудово. $\mathbf{w}$ $b$

Тепер я хотів би вирішити нелінійні проблеми. Чи можу я просто замінити всі крапкові продукти на у функції витрат, де - функція ядра (наприклад, Gaussian RBF, ), то використовуйте обчислення для отримання (під) градієнтного вектора та йти вперед з градієнтним узвозом? $\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

Якщо це занадто повільно, чому це так? Чи функція витрат не опукла? Або це тому, що градієнт змінюється занадто швидко (це не Ліпшиц безперервно), тому алгоритм продовжує стрибати по долинах під час спуску, тому він сходить дуже повільно? Але навіть тоді, як це може бути гірше, ніж часова складність програмування квадратичного програмування, яка є $O({n_\text{samples}}^2 \times n_\text{features})$ ? Якщо мова йде про локальні мінімуми, чи не може стохастичний ГД з імітованим відпалом подолати їх?

svm kernel-trick gradient-descent

— MiniQuark
джерело

6

Встановіть так, що і , з , де - відображення вихідної вхідної матриці , . Це дозволяє вирішити SVM за допомогою первинної рецептури. Використання позначень про втрату: $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

$\mathbf{K}$ - матриця , а - матриця . Ні те не є нескінченним. $m \times m$ $\mathbf{u}$ $m \times 1$

Дійсно, подвійне, як правило, швидше вирішується, але первинне має і свої переваги, такі як приблизні рішення (які не гарантуються у подвійній рецептурі).

Тепер, чому дуал настільки помітніше, зовсім не очевидно: [1]

Історичні причини, за якими більшість досліджень за останнє десятиліття стосувалися подвійної оптимізації, є незрозумілими . Ми вважаємо, що це тому, що SVM були вперше введені в їх жорсткій маржинальній формулюванні [Boser et al., 1992], для якої подвійна оптимізація (через обмеження) видається більш природною. В цілому, однак, слід віддавати перевагу SVM з м'яким запасом, навіть якщо дані про навчання є роздільними: межа прийняття рішення є більш надійною, оскільки враховується більше навчальних балів [Chapelle et al., 2000]

Шапель (2007) стверджує, що часова складність як первинної, так і подвійної оптимізації є , найгірший випадок - , але вони проаналізували квадратичні та приблизні втрати шарніру, тому не є правильними втратами шарніру, оскільки його не можна диференціювати за допомогою методу Ньютона. $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Шапель, О. (2007). Навчання підтримуючої векторної машини в первинному. Нейрові обчислення, 19 (5), 1155-1178.}

— Firebug
джерело

1

+1 Чи можете ви, можливо, розширити також складність часу

— seanv507

@ seanv507 дякую, справді я мав би вирішити це, я скоро оновлю цю відповідь.

— Firebug

4

Якщо застосувати перетворення до всіх вхідних векторів ваги ( ), ми отримаємо таку функцію витрат: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Трюк ядра замінює на . Так як вага вектор є НЕ трансформували, ядро трик не може бути застосований до функції витрат вище . $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

Вищенаведена функція витрат відповідає первинній формі цілі SVM:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

за умови і для $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

Подвійна форма є:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

за умови і для $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

де - вектор, повний 1s, а - матриця з елементами . $\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

Тепер ми можемо використовувати трюк ядра, обчислюючи так: $Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

Таким чином, хитрість ядра може бути використана лише у подвійній формі проблеми SVM (плюс деякі інші алгоритми, такі як логістична регресія).

Тепер ви можете використовувати бібліотеки квадратичного програмування, що не існують, для вирішення цієї проблеми або використовувати множники Lagrangian, щоб отримати необмежену функцію (функція подвійної вартості), а потім шукати мінімум за допомогою Gradient Descent або будь-якої іншої методики оптимізації. Одним з найбільш ефективних підходів є алгоритм SMO, реалізований libsvmбібліотекою (для kernelized SVM).

— MiniQuark
джерело

1

Я не впевнений, чому ви позначили свою відповідь Community Wiki. Це здається ідеально правильною відповіддю на ваше запитання.

— Sycorax каже, що повернеться до Моніки

Дякуємо @GeneralAbrial Я позначив свою відповідь спільнотою Wiki, щоб уникнути підозр, що я знав відповідь, перш ніж ставити питання.

— MiniQuark

1

Ви завжди повинні робити те, що вважаєте правильним, але задавати і відповідати на власне запитання цілком кошерно.

— Sycorax каже, що повернеться до Моніки

Зачекайте, чи не вдалося ви перетворити ваговий вектор у щоб і , з , а потім оптимізувати ваги вибірки ?

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$

u

$\mathbf u$

— Firebug

2

Я можу помилятися, але я не бачу, як ми можемо замінити крапкові продукти на ядра, не перетворивши це на подвійну проблему.

Ядра відображають вхід неявно в деякий простір функцій, де стає , функція втрати стає Якщо застосовано ядро Гаусса, матиме ifinite розміри, так буде . $x$ $\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$ $\mathbf{w}$

Мабуть, важко оптимізувати вектор нескінченних розмірів безпосередньо за допомогою градієнтного спуску.

Відповідь оновлення
Firebug дає змогу замінити крапкові продукти ядрами в первинному формулюванні.

— dontloo
джерело