108

Як працює векторна машина підтримки (SVM) і чим вона відрізняється від інших лінійних класифікаторів, таких як лінійний рецептор , лінійний дискримінантний аналіз або логістична регресія ? *

(* Думаю з точки зору основної мотивації алгоритму, стратегій оптимізації, можливостей узагальнення та складності виконання )

— tdc
джерело

4

Дивіться також: stats.stackexchange.com/questions/3947/…

дивіться також stats.stackexchange.com/questions/80398/…

126

Машини, що підтримують вектор, орієнтуються лише на точки, які найскладніше розрізнити, тоді як інші класифікатори звертають увагу на всі моменти.

Інтуїція, що стоїть за підходом машинного підходу до підтримки, полягає в тому, що якщо класифікатор хороший у найскладніших порівняннях (точки B і A, які є найближчими один до одного на малюнку 2), то класифікатор стане ще кращим при легких порівняннях ( порівнюючи точки В і А, які знаходяться далеко один від одного).

Перцептрони та інші класифікатори:

Перцепрони будуються, беручи по одній точці і відповідно регулюючи лінію поділу. Як тільки всі точки відокремлюються, алгоритм перцептрона припиняється. Але це могло зупинитися де завгодно. На рисунку 1 видно, що існує купа різних розділових ліній, які розділяють дані. Критерії зупинки перцептрона прості: "розділіть точки і припиніть вдосконалювати лінію, коли ви отримаєте 100% поділ". Перцептрон прямо не каже, щоб знайти найкращу роздільну лінію. Логістична регресія та лінійні дискримінантні моделі будуються аналогічно перцептронам.

Найкраща лінія ділення максимально збільшує відстань між точками B, найближчими до точки A, і точками A, найближчими до B. Не потрібно дивитись на всі точки, щоб це зробити. Насправді, включення зворотного зв’язку з віддалених точок може нахилити рядок занадто далеко, як видно нижче.

введіть тут опис зображення

Підтримка векторних машин:

На відміну від інших класифікаторів, вектору підтримки явно сказано, щоб знайти найкращу роздільну лінію. Як? Машина підтримки підтримки шукає найближчі точки (мал. 2), які вона називає "векторами підтримки" (назва "машина підтримки вектора" пов'язана з тим, що точки схожі на вектори і що найкраща лінія "залежить від" або "підтримується" найближчими точками).

Після того як він знайшов найближчі точки, SVM проводить лінію, що з'єднує їх (див. Лінію, позначену "w" на малюнку 2). Він проводить цю сполучну лінію, роблячи віднімання вектора (точка А - точка В). Потім підтримуюча векторна машина оголошує найкращою роздільною лінією лінію, яка розділяє - і перпендикулярна до сполучної лінії.

Машина з підтримкою вектора краще, тому що коли ви отримаєте новий зразок (нові точки), ви вже зробили лінію, яка тримає B і A якомога далі один від одного, і тому менша ймовірність того, що хтось перекинеться поперек лінія на чужу територію.

введіть тут опис зображення

Я вважаю себе візуальним учнем, і я довго боровся з інтуїцією, що стоїть за векторами підтримки машин. Документ, названий « Подвійність та геометрія» в класифікаторах SVM, нарешті, допоміг мені побачити світло; ось звідки я і отримав зображення.

— Райан Зотті
джерело

4

+1 від іншого візуального учня! Для читача я хотів би зазначити, що ці межі, видно на малюнку вище, базуються на наборі даних, який вже трансформувався. Не необроблений набір даних.

— Кінгз

Читаючи svm більше двох років, сьогодні зрозумів, як визначається лінія відокремлення та ще кілька речей. Дякую за чисту відповідь.

— користувач123

53

Відповідь Райана Зотті пояснює мотивацію максимізації меж рішення, відповідь Карлосда дає деякі подібності та відмінності стосовно інших класифікаторів. Я дам у цій відповіді короткий математичний огляд того, як навчаються та використовуються SVM.

Позначення

Далі скаляри позначаються курсивом з нижнього регістру (наприклад, ), векторів із жирними нижчими літерами (наприклад, ) та матриць з великими великими літерами курсивом (наприклад, ). - це перенесення , а . $y,\, b$ $\mathbf{w},\, \mathbf{x}$ $W$ $\mathbf{w^T}$ $\mathbf{w}$ $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Дозволяє:

$\mathbf{x}$ - вектор функції (тобто вхід SVM). , де - розмірність векторного ознаки. $\mathbf{x} \in \mathbb{R}^n$ $n$
$y$ - клас (тобто вихід SVM). , тобто завдання класифікації є двійковим. $y \in \{ -1,1\}$
$\mathbf{w}$ і - параметри SVM: нам потрібно вивчити їх за допомогою навчального набору. $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ бути вибірки в наборі даних. Припустимо, у навчальному наборі є зразків. $i^ {\text {th}}$ $N$

З можна представити межі рішення SVM таким чином: $n=2$

Клас визначається так: $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

що можна більш стисло записати як . $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Мета

SVM спрямований на задоволення двох вимог:

SVM повинен збільшити відстань між двома межами рішення. Математично це означає, що ми хочемо максимізувати відстань між гіперплощиною, визначеною і гіперплощиною, визначеною . Ця відстань дорівнює . Це означає, що ми хочемо вирішити . Еквівалентно, що ми хочемо . $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVM також повинен правильно класифікувати всі , що означає $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Що призводить нас до наступної проблеми квадратичної оптимізації:

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

Це SVM з жорстким запасом , оскільки ця проблема квадратичної оптимізації допускає рішення, якщо дані лінійно відокремлюються.

Можна зменшити обмеження, ввівши так звані слабкі змінні . Зауважимо, що кожен зразок навчального набору має власну змінну слабкості. Це дає нам наступну проблему квадратичної оптимізації: $\xi^{(i)}$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Це SVM з м'якою маржею . - гіперпараметр, який називається покаранням терміна помилки . ( Який вплив С у SVM з лінійним ядром? Та Який діапазон пошуку для визначення оптимальних параметрів SVM? ). $C$

Можна додати ще більшу гнучкість, ввівши функцію яка відображає оригінальний простір функцій у просторі більш високого розміру. Це дозволяє нелінійні межі рішення. Проблема квадратичної оптимізації стає: $\phi$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} ϕ (x^{(i)}) + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Оптимізація

Задача квадратичної оптимізації може бути перетворена в іншу оптимізаційну задачу, яку називають подвійною задачею Лагрангія (попередня задача називається первинною ):

\begin{aligned} max_{α} & min_{w, b} \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} α^{(i)} (1 - w^{T} ϕ (x^{(i)}) + b)), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

Цю проблему оптимізації можна спростити (встановивши деякі градієнти до ) до: $0$

\begin{aligned} max_{α} & \sum_{i = 1}^{N} α^{(i)} - \sum_{i = 1}^{N} \sum_{j = 1}^{N} (y^{(i)} α^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{(j)}) y^{(j)} α^{(j)}), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ не відображається як (як зазначено в теоремі представника ). $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Тому ми вивчаємо використовуючи навчального набору. $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Навіщо турбуватися з подвійною проблемою при встановленні SVM? Коротка відповідь: швидше обчислення + дозволяє використовувати хитрість ядра, хоча існують кілька хороших методів для навчання SVM в первинному, наприклад, див. {1})

Здійснення прогнозу

Після того, як засвоїться, можна передбачити клас нового зразка з вектором функції наступним чином: $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} y^{test} & = sign (w^{T} ϕ (x^{test}) + b) \\ = sign (\sum_{i = 1}^{N} α^{(i)} y^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{test}) + b) \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

Підсумовування може здатися нездійсненним, так як це означає , що один має підсумувати з усіх навчальних зразкам, але переважна більшість є (див Чому Мультиплікатори Лагранжа рідкісні для SVM? ), Так що на практиці це не проблема. (зауважте, що можна побудувати спеціальні випадки, коли всі ) iff є вектором підтримки . На ілюстрації наведено 3 вектори підтримки. $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

Хитрість ядра

Можна помітити, що проблема оптимізації використовує лише у внутрішньому творі . Функція, яка відображає до внутрішнього продукту буде називається ядро , інакше функція ядра, часто позначається . $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

Можна вибрати щоб внутрішній продукт був ефективним для обчислення. Це дозволяє використовувати потенційно високий функціональний простір за низьких обчислювальних витрат. Це називається хитрістю ядра . Щоб функція ядра була дійсною , тобто використовувалася з хитрістю ядра, вона повинна задовольняти двом ключовим властивостям . Існує багато функцій ядра на вибір . Як бічна примітка, хитрість ядра може бути застосована до інших моделей машинного навчання , і в цьому випадку вони називаються ядрами . $k$

Йдемо далі

Деякі цікаві питання якості для SVM:

Інші посилання:

Найменші квадрати підтримують векторну машину

Список літератури:

{1} Шапель, Олів'є. "Навчання підтримуючої векторної машини в первинному." Нейрові обчислення 19, вип. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=uk&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— Франк Дернонкур
джерело

2

Привіт, Франку, велике спасибі за твою відповідь. Ви не проти пояснити, чому вектор є ортогональним для гіперплощини, яку генерує SVM? А як ви обчислили відстань між двома межами рішення, що дорівнює

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik

3

На додаток до цієї чудової відповіді, я хочу порекомендувати це відео, яке проходить через математику за SVM і особливо роз'яснює питання @tosik прокоментував youtube.com/watch?v=_PwhiWxHK8o

— Ніколас Рієбл

Дуже приємна відповідь. Лише одне зауваження щодо цієї частини: iff - вектор підтримки . Для класифікації підсумовування ефективно над векторами підтримки (тобто ).

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989 р.

13

Я збираюся зосередитись на схожості та відмінності її від інших класифікаторів:

Від перцептрона: SVM використовує втрату шарніру і регуляризацію L2, персептрон використовує втрату перцептрона і може використовувати ранню зупинку (або серед інших методик) для регуляризації, насправді термін регуляризації в перцептроні дійсно не існує. Оскільки у нього немає терміну регуляризації, перцептрон повинен бути перетренованим, тому можливості узагальнення можуть бути довільно поганими. Оптимізація проводиться за допомогою стохастичного градієнтного спуску і тому дуже швидка. З позитивної сторони цей документ свідчить про те, що, роблячи ранню зупинку з дещо зміненою функцією втрат, продуктивність може бути нарівні з SVM.
Від логістичної регресії: логістична регресія використовує логістичний термін втрат і може використовувати регуляризацію L1 або L2. Ви можете думати про логістичну регресію як про дискримінаційного брата генеративного наїва-Бейса.
З LDA: LDA також можна розглядати як генеративний алгоритм, він передбачає, що функції щільності ймовірності (p (x | y = 0) і p (x | y = 1) нормально розподіляються. Це ідеально, коли дані в Факт, як правило, розподіляється. Однак, є і недоліком того, що "тренування" вимагає інверсії матриці, яка може бути великою (коли у вас є багато можливостей). За умови гомодедастичності LDA стає QDA, що Баєсом є оптимальним для нормально розподілених даних. Це означає, що якщо припущення задоволені, що ви дійсно не можете зробити краще, ніж це.

Під час виконання (тестовий час), коли модель пройшла навчання, складність усіх цих методів однакова, це лише крапковий продукт між гіперпланом, що був знайдений процедурою навчання та точкою даних.

— carlosdc
джерело

1

Оскільки вам здається дуже компетентним у SVM, дозвольте мені попросити вас пояснити мої сумніви: коли ми знайшли найкращий роздільний гіперплан, для чого ми його використовуємо? Ми можемо визначити SVM як метод, який, по-перше, вибирає найкращу гіперплан для правильної класифікації точок даних, а по-друге, він використовує цю гіперплан для розділення нових точок даних у двох класах. Правильно? (У мене є деякі сумніви щодо другої частини)

— DavideChicco.it

1

@ DavideChicco.it Так, ми можемо використовувати функцію індикатора для класифікації нових даних, що часто є основною метою класифікатора. (Не сприймайте мого слова ні за що з цього, я все-таки новачок).

— клавішник

12

Методика грунтується на малюванні граничної лінії рішення, залишаючи якомога більше запасу для перших можливих позитивних та негативних прикладів:

Як на ілюстрації вище, якщо ми виберемо ортогональний вектор такий, що ми можемо встановити критерій рішення для будь-якого невідомого прикладу який буде каталогізовано як позитивний від форми: $\lVert w \rVert=1$ $\mathbf u$

w \cdot u \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

що відповідає значенню, яке розмістило б проекцію за межами лінії рішення посеред вулиці. Зауважте, що . $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Еквівалентною умовою для позитивного зразка було б:

\begin{matrix} (1) & w \cdot u + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

при $C = - b.$

Нам потрібно і щоб мати правило рішення, і щоб потрапити туди, нам потрібні обмеження . $b$ $\color{blue}{\mathbf w}$

Перше обмеження ми будемо вводити в тому , що для будь-якого позитивного зразка , ; а для негативних зразків . У межі поділу або гіперплані ( медіана ) значення буде , тоді як значення в жолобах будуть і : $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

Вектор - вектор ваг , тоді як - зміщення . $\bf w$ $b$

Щоб об'єднати ці дві нерівності разом, ми можемо ввести змінну так, щоб для позитивних прикладів, а якщо приклади негативні, і зробимо висновок $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

Отже, ми встановлюємо, що це повинно бути більше нуля, але якщо приклад наведений на гіперпланах ("жолобах"), які максимально збільшують межу поділу між гіперпланом рішення та кінчиками опорних векторів, в цьому випадку рядки), тоді:

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

Зауважте, що це еквівалентно вимагати, щоб $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

Друге обмеження : відстань гіперплана рішення до кінчиків опорних векторів буде максимальною. Іншими словами, межа розмежування ("вулиця") буде максимальною:

Якщо припустити одиничний вектор, перпендикулярний до межі рішення, , точковий добуток із різницею двох "прикордонних" плюсів і мінусів прикладів - ширина "вулиці" : $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

На рівняннях вище і знаходяться в жолобі (на гіперплощинах, що максимально розділяють). Тому для позитивного прикладу: , або ; і для негативного прикладу: . Отже, переформулювання ширини вулиці: $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} width & = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖} \\ = \frac{x_{+} \cdot w - x_{-} \cdot w}{‖ w ‖} \\ = \frac{1 - b - (- 1 - b)}{‖ w ‖} \\ (3) & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

Тож тепер нам просто потрібно збільшити ширину вулиці - тобто максимізувати мінімізувати або мінімізувати: $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} (4) & \frac{1}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

що математично зручно.

Отже, ми хочемо:

Мінімізуйте з обмеженням: $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

Оскільки ми хочемо мінімізувати цей вираз на основі деяких обмежень, нам потрібен множник Лагранжа (повертаючись до рівнянь 2 і 4):

\begin{matrix} (5) & L = \frac{1}{2} ‖ w ‖^{2} - \sum λ_{i} [y_{i} (x_{i} \cdot w + b) - 1] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

Диференційований,

\frac{\partial L}{\partial w} = w - \sum λ_{i} y_{i} x_{i} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ .

Тому

\begin{matrix} (6) & w = \sum λ_{i} y_{i} x_{i} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

І диференціювання відносно $b:$

\frac{\partial L}{\partial b} = - \sum λ_{i} y_{i} = 0,

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

це означає, що ми маємо добуток множників і міток з нульовою сумою:

\begin{matrix} (7) & \sum λ_{i} y_{i} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

Підключення рівняння (6) назад до рівняння (5),

L = \frac{1}{2} (\sum λ_{i} y_{i} x_{i}) (\sum λ_{j} y_{j} x_{j}) - (\sum λ_{i} y_{i} x_{i}) \cdot (\sum λ_{j} y_{j} x_{j}) - \sum λ_{i} y_{i} b + \sum λ_{i}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

Передостанній додаток дорівнює рівнянню (7) дорівнює нулю.

Тому

\begin{matrix} (8) & L = \sum λ_{i} - \frac{1}{2} \sum_{i} \sum_{j} λ_{i} λ_{j} y_{i} y_{j} x_{i} \cdot x_{j} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

Рівень (8) є кінцевим лагранжанином.

Отже, оптимізація залежить від крапкового добутку пар прикладів.

Повернення до "правила рішення" у рівнянні (1) вище та використання рівняння (6):

\begin{matrix} (9) & \sum λ_{i} y_{i} x_{i} \cdot u + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

буде остаточним правилом рішення для нового вектора $\mathbf u.$

— Антоні Пареллада
джерело

Нічого оригінального ... Просто мої власні нотатки на більш вхідному рівні. В основному з цього відео з MIT з власними ілюстраціями. Про помилки, будь ласка, повідомте мене. Для проникливих відповідей та більш детальної інформації перейдіть на рівень експертів (пост Франка та інші).

— Антоні Пареллада

І як обчислити b ?

— Майк

1

@mike причому є сукупністю індексів векторів підтримкиВи можете знайти його тут .

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— Антоні Пареллада

@AntoniParellada дивовижна відповідь Антоні дуже дякує - але ви не пропустили частину проблеми з подвійною проблемою та умовами KTT?

— Xavier Bourret Sicotte

@XavierBourretSicotte Я не можу працювати над цим деякий час. Будь ласка, подумайте про те, щоб написати альтернативну відповідь, що стосується цих питань, і якщо ви це зробите, будь ласка, повідомте мене, щоб я знав про це і можу підтримати його.

— Антоні Пареллада

3

Деякі коментарі щодо умов подвійності та KTT

Первинна проблема

Збираючись з поста @ Антоні між рівняннями та , нагадайте, що наша оригінальна або первісна проблема оптимізації має такий вигляд: $(4)$ $(5)$

\begin{aligned} min_{w, b} f (w, b) & = min_{w, b} \frac{1}{2} | | w | |^{2} \\ s . t . g_{i} (w, b) & = - y^{(i)} (w^{T} x^{(i)} + b) + 1 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

Метод Лагранжа

Метод множників Лагранжа дозволяє перетворити обмежену оптимізаційну задачу на необмежену форму:

L (w, b, α) = \frac{1}{2} | | w | |^{2} - \sum_{i}^{m} α_{i} [y^{(i)} (w^{T} x^{(i)} + b) - 1]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

Де називається лагранжевим, а називаються лагранжевими множниками . $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

Наша проблема первинної оптимізації з Lagrangian стає наступною: (зауважте, що використання , не є найсуворішим, як ми також повинні використовувати і тут ...) $min$ $max$ $\inf$ $\sup$

min_{w, b} (max_{α} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

Подвійна проблема

Те, що @Antoni та професор Патрік Вінстон зробили при їх виведенні, припускають, що функція оптимізації та обмеження відповідають деяким технічним умовам, таким чином, що ми можемо робити наступне:

min_{w, b} (max_{α} L (w, b, α)) = max_{α} (min_{w, b} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

Це дозволяє нам взяти часткові похідні відносно і , прирівняти до нуля, а потім підключити результати назад до початкового рівняння Лагранжана, отже, генеруючи еквівалент проблема подвійної оптимізації форми $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} max_{α} min_{w, b} L (w, b, α) \\ max_{α} \sum_{i}^{m} α_{i} - \frac{1}{2} \sum_{i, j}^{m} y^{(i)} y^{(j)} α_{i} α_{j} < x^{(i)} x^{(j)} > \\ s . t . α_{i} \geq 0 \\ s . t . \sum_{i}^{m} α_{i} y^{(i)} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

Подвійність та КТТ

Не вникаючи в надмірну математичну техніку, ці умови є комбінацією умов Дуалізму та Такюра Каруша Куна (KTT) і дозволяють нам вирішити подвійну задачу замість первинної , гарантуючи при цьому оптимальне рішення. У нашому випадку умови такі:

Функції обмеження первинної мети та нерівності повинні бути опуклими
Функція обмеження рівності повинна бути афінною
Обмеження повинні бути суворо здійсненими

Тоді існують які є рішеннями первинних і подвійних задач. Більше того, параметри задовольняють наведеним нижче умовам KTT: $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (A) \\ \frac{\partial}{\partial β_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (B) \\ α_{i}^{*} g_{i} (w^{*}) = 0 & (C) \\ g_{i} (w^{*}) \leq 0 & (D) \\ α_{i}^{*} \geq 0 & (E) \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

Більше того, якщо деякі задовольняють рішення KTT, то вони також є рішенням первинної та подвійної задачі. $w^*, \alpha^*$

Вище рівняння має особливе значення і називається умовою подвійної комплементарності . Це означає, що якщо то що означає, що обмеження є активним, тобто воно має рівність, а не нерівність. Це пояснення рівняння у виведенні Антоні, де обмеження нерівності перетворюється на обмеження рівності. $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

Інтуїтивна, але неформальна схема

Джерела

Андрій Нг 1 і 2
MIT

— Xavier Bourret Sicotte
джерело

2

Дуже дякую. Я читаю це швидко, і повертаюсь до нього пізніше з більшим часом, але це звучить чудово і торкається пропущених моментів у моїй відповіді.

— Антоні Парелада

Як працює підтримка векторної машини (SVM)?

Позначення

Мета

Оптимізація

Здійснення прогнозу

Хитрість ядра

Йдемо далі

Деякі коментарі щодо умов подвійності та KTT

Первинна проблема

Метод Лагранжа

Подвійна проблема

Подвійність та КТТ

Інтуїтивна, але неформальна схема

Джерела