У алгоритмі SVM чому вектор w є ортогональним для розділювальної гіперплани?

13

Я початківець з машинного навчання. У SVM роздільна гіперплан визначається як . Чому ми кажемо вектор ортогональним для роздільної гіперплани? $y = w^T x + b$ $w$

machine-learning svm

— Чонг Чжен
джерело

3

Відповідь на подібне запитання (для нейронних мереж) є тут .

— богарон

@bogatron - Я повністю з вами згоден. Але мої лише відповіді на SVM .

— untitledprogrammer

2

За винятком цього немає. Ваша відповідь правильна, але про це немає нічого конкретного для SVM (а також не повинно бути). - просто векторне рівняння, яке визначає гіперплощину.

w^{T} x = b

$w^{T}x=b$

— богатрон

10

Геометрично вектор w спрямований ортогонально до лінії, визначеної . Це можна зрозуміти так: $w^{T} x = b$

Спочатку візьміть . Тепер зрозуміло, що всі вектори, , що зникають внутрішнього добутку задовольняють цьому рівнянню, тобто всі вектори, ортогональні w, задовольняють це рівняння. $b = 0$ $x$ $w$

Тепер перекладіть гіперплан подалі від початку над вектором a. Рівняння для площини тепер стає: , тобто знаходимо, що для зміщення , що є проекцією вектора на вектор . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Без втрати загальності ми можемо, таким чином, вибрати перпендикуляр до площини, і в цьому випадку довжина яка представляє найкоротший, ортогональний відстань між початком і гіперпланом. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Отже, вектор є ортогональним для роздільної гіперплани. $w$

— без назви програміста
джерело

5

Причина, чому нормальна для гіперплощини, полягає в тому, що ми визначаємо його таким чином: $w$

Припустимо, у нас (гіпер) площина в 3d-просторі. Нехай - точка на цій площині, тобто . Тому вектор від початку до цієї точки просто . Припустимо, що у нас на площині є довільна точка . Вектор, що приєднується до і , задається тоді: Зауважимо, що цей вектор лежить у площині. $P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

Тепер нехай є нормальним (ортогональним) вектором для площини. Тому: Тому: Зауважимо, що - це просто число і в нашому випадку дорівнює , тоді як просто а - . Отже, за визначенням є ортогональним для гіперплощини. $\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Шехряр Малик
джерело

2

Нехай межа рішення буде визначена як . Розглянемо точки та , які лежать на межі рішення. Це дає нам два рівняння: $w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

Віднімання цих двох рівнянь дає нам . Зауважимо, що вектор лежить на межі рішення, і він спрямований від до . Оскільки крапковий добуток дорівнює нулю, повинен бути ортогональним до , і, в свою чергу, до межі рішення. $w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— адітягайдхані
джерело

0

Використовуючи алгебраїчне визначення вектора, ортогонального гіперплану:

$\forall \ x_1, x_2$ на роздільній гіперплані,

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
джерело