Враховуючи набір точок у двовимірному просторі, як може функціонувати одне проектне рішення для SVM?

Чи може хтось пояснити мені, як можна говорити про розробку функції рішення SVM? Або вкажіть мені на ресурс, який обговорює конкретний приклад.

EDIT

Для наведеного нижче прикладу я бачу, що рівняння розділяє класи з максимальним запасом. Але як я відрегулюю ваги і записати рівняння для гіперпланів у наступному вигляді. $X_2 = 1.5$

\begin{array}{ll} H_{1} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : w_0+w_1x_1+w_2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : w_0+w_1x_1+w_2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

введіть тут опис зображення

Я намагаюсь отримати базову теорію правильно у двомірному просторі (як це легше уявити), перш ніж подумати про більш високі розміри.

Я розробив рішення для цього. Чи може хтось підтвердити, чи правильно це?

ваговий вектор дорівнює (0, -2), а W_0 - 3

\begin{array}{ll} H_{1} : 3 + 0 x_{1} - 2 x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : 3 + 0 x_{1} - 2 x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : 3+0x_1-2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : 3+0x_1 -2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

svm

— нареш
джерело

Існує ілюстрація з R тут , але я відчуваю ваше запитання більше на алгоритмічної аспекті. У цьому випадку допоможе, якщо ви зможете додати трохи більше інформації про передбачувану програму чи доступний ресурс.

— chl

@chl Я оновив запитання з подробицями

— naresh

Існують щонайменше два способи мотивації SVM, але я прийму тут простіший шлях.

Тепер забудьте все, що ви знаєте про SVM на даний момент, і просто зосередиться на наявній проблемі. Вам надається набір точок разом з деякими мітками ( ), які походять від . Тепер ми намагаємося знайти лінію в 2D таким чином, що всі точки з міткою падають на одну сторону лінії, а всі точки з міткою падають на іншу сторону. $\mathcal{D} = \{(x^i_1, x^i_2, y_i)\}$ $y_i$ $\{1, -1\}$ $1$ $-1$

Перш за все, зрозумійте, що - це лінія в 2D, а являє собою "одну сторону" лінії і являє "іншу сторону" рядка. $w_0 + w_1x_1 + w_2x_2 = 0$ $w_0 + w_1x_1 + w_2x_2 > 0$ $w_0 + w_1x_1 + w_2x_2 < 0$

З вищесказаного можна зробити висновок, що ми хочемо деякого вектора такого, що, для всіх точок з і $[w_0, w_1, w_2]$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ для всіх точок з [1]. $x^i$ $y_i = -1$

Припустимо, що такий рядок насправді існує, тоді я можу визначити класифікатор наступним чином,

min | w_{0} | + | w_{1} | + | w_{2} | subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 0, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} < 0, \forall x^{i} with y_{i} = - 1

$\min |w_0| + |w_1| + |w_2| \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 0, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 < 0, \forall x^i\text{ with }y_i = -1 \\$

Я використав довільну цільову функцію вище, ми насправді не хвилюємося в тому, яка об’єктивна функція використовується. Ми просто хочемо, щоб відповідав нашим обмеженням. Оскільки ми припустили, що рядок існує таким, що ми можемо відокремити два класи цим рядком, ми знайдемо рішення вищезазначеної проблеми оптимізації. $w$

Вищенаведене не є SVM, але воно дасть вам класифікатор :-). Однак цей класифікатор може бути не дуже хорошим. Але як визначити хороший класифікатор? Хорошим класифікатором, як правило, є той, який добре працює на тестовому наборі. В ідеалі, ви б перебрати всі можливі «S, що розділяють ваші навчальні дані і подивитися , які з них дійсно добре на тестових даних. Однак є нескінченні , і це зовсім безнадійно. Натомість ми розглянемо деякі евристики, щоб визначити хороший класифікатор. Одне з евристичних полягає в тому, що лінія, яка розділяє дані, буде достатньо далеко від усіх точок (тобто між точками і лінією завжди є розрив або межа). Найкращий серед них класифікатор - максимальний запас. Це те, що звикає у SVM. $w$ $w$

Замість того, щоб наполягати на тому, що для всіх точок з і для всіх точок з , якщо ми наполягаємо, що для всіх точок з і для всіх точок з , то ми фактично наполягаємо на тому, щоб точки були далеко від прямої. Геометричний запас, що відповідає цій вимозі, виходить . $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 1$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 \leq -1$ $x^i$ $y_i = -1$ $\frac{1}{\|w\|_2}$

Отже, ми отримуємо таку задачу оптимізації, Трохи лаконічна форма написання цього, Це в основному основне формулювання SVM. Я пропустив досить багато дискусій заради стислості. Сподіваюся, я все-таки отримав більшу частину ідеї.

max \frac{1}{‖ w ‖_{2}} subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 1, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \leq - 1, \forall x^{i} with y_{i} = - 1

$\max \frac{1}{\|w\|_2} \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 1, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 \leq -1, \forall x^i\text{ with }y_i = -1 \\$

min ‖ w ‖_{2} subject to : y_{i} (w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i}) \geq 1, \forall i

$\min \|w\|_2 \\ \text{subject to} : y_i(w_0 + w_1x^i_1 + w_2x^i_2) \geq 1, \forall i$

Сценарій CVX для вирішення прикладу проблеми:

A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end

Додаток - геометричний запас

Вище ми вже просили шукати таким, що або взагалі . LHS, який ви бачите тут, називається функціональним запасом, тому те, що ми тут просили, - це те, що функціональна межа буде . Тепер ми спробуємо обчислити геометричний запас, враховуючи цю функціональну маржинальну вимогу. $w$ $y_i(w_0 + w_1x_1 + w_2x_2) \geq 1$ $y_i(w_0 + w^Tx) \geq 1$ $\geq 1$

Що таке геометричний запас? Геометрична маржа - це найкоротша відстань між точками в позитивних прикладах і точками в негативних прикладах. Тепер точки, які мають найкоротшу відстань, як вимагається вище, можуть мати функціональний запас більше, ніж дорівнює 1. Однак розглянемо крайній випадок, коли вони найближчі до гіперплощини, тобто функціональна межа для найкоротших точок точно однакова до 1. Нехай - точка на позитивному прикладі - така точка, що і точка на негативному прикладі - точка така, що . Тепер відстань між і буде найменшою, коли $x_+$ $w^Tx_+ + w_0 = 1$ $x_-$ $w^Tx_- + w_0 = -1$ $x_+$ $x_-$ $x_+ - x_-$ перпендикулярний до гіперплощини.

Тепер, з усією вищенаведеною інформацією, ми спробуємо знайти який є геометричним полем. $\|x_+ - x_-\|_2$

w^{T} x_{+} + w_{0} = 1

$w^Tx_+ + w_0 = 1$

w^{T} x_{-} + w_{0} = - 1

$w^Tx_- + w_0 = -1$

w^{T} (x_{+} - x_{-}) = 2

$w^T(x_+ - x_-) = 2$

| ш^{Т} (х_{+} - х_{-}) | = 2

$|w^T(x_+ - x_-)| = 2$

‖ ш ‖_{2} ‖ х_{+} - х_{-} ‖_{2} = 2

$\|w\|_2\|x_+ - x_-\|_2 = 2$

‖ х_{+} - х_{-} ‖_{2} = \frac{2}{‖ ш ‖_{2}}

$\|x_+ - x_-\|_2 = \frac{2}{\|w\|_2}$

[1] Насправді не важливо, яку сторону ви обираєте для і . Ви просто повинні залишатися послідовними з тим, що виберете. $1$ $-1$

— ТеналіРаман
джерело

@naresh Yeap, вирішення цього питання в cvx дало мені саме таке рішення, що і у вас .

w = [0, - 2, 3]

$w = [0, -2, 3]$

— TenaliRaman

@entropy дякую, що я виправив помилку друку. Я додам пояснення геометричного поля.

— TenaliRaman

@entropy Я оновив відповідь із поясненням геометричного поля.

— TenaliRaman

@entropy - це гіперплан, що проходить через походження. Для покриття простору всіх лінійних рівнянь вам потрібен термін зміщення. Подумайте про точки, що проживають у 2D, і скажемо, що ви намагаєтесь знайти лінію, яка розділяє ці точки. Однак всі ці точки лежать у першому квадранті. Тепер можна розташувати ці точки таким чином, щоб вони були відокремленими, але не будь-якою лінією, яка проходить через початок. Однак лінія з правильним ухилом може це зробити.

w^{T} x

$w^{T}x$

— TenaliRaman

@entropy Сказавши сказане, ви вже могли зрозуміти, що якщо ви правильно обертаєте та зміщуєте точки, навіть лінія, що проходить через початок, повинна мати змогу відокремлювати класи. Однак зазвичай знайти це правильне обертання і зсув непросто, порівняно з просто вивченням терміна зміщення.

— TenaliRaman