Розуміння регресії SVM: цільова функція та «площинність»

SVM для класифікації мають інтуїтивний сенс для мене: я розумію, як мінімізація дає максимальний запас. Однак я не розумію цієї мети в контексті регресії. Різні тексти ( тут і тут ) описують це як максимізацію «плоскості». Чому ми б хотіли це робити? Що в регресії рівнозначно поняттю "маржа"? $||\theta||^2$

Ось кілька спроб відповідей, але жодна, яка насправді не допомогла мені зрозуміти.

regression svm

— Ян
джерело

Я насправді не займаюся теорією SVM, але «плавність» в дискусії з ядрами-машинами, на яку ви посилаєтеся, здається: «має невелику другу похідну» (подумайте про типову мотивацію моделей згладжування сплайну).

— сполученийперіор

Один із способів, що я думаю про плоскостопість, полягає в тому, що це робить мої прогнози менш чутливими до збурень в особливостях. Тобто, якщо я будую модель форми де мій вектор вже був нормалізований, то менші значення в означають, що моя модель менш чутлива до помилок вимірювань / випадкові потрясіння / нестаціонарність ознак, . Враховуючи дві моделі ( тобто два можливі значення ), які однаково добре пояснюють дані, я віддаю перевагу "більш плоскій".

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Ви також можете подумати про те, що регрес хребта - це те саме, що формує те саме, що не має фокусу з ядром або формулою регресії SVM 'tube'.

редагувати : У відповідь на коментарі @ Ян, ще одне пояснення:

Розглянемо лінійний випадок: . Припустимо, виведено iid з деякого розповсюдження, незалежного від . За точковою тотожністю продукту маємо , де - кут між $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ і , який, ймовірно, розподілений за деяким сферично рівномірним розподілом. Тепер зауважимо: 'розкид' (наприклад,стандартне відхилення вибірки) наших прогнозів пропорційний. Щоб отримати хороший MSE за допомогою прихованих, безшумних версій наших спостережень, ми хочемо зменшити це $\theta$ $x$ $y$ $||\theta||$ . cfОцінювач Джеймса Штейна. $||\theta||$
Розглянемо лінійний випадок з великою кількістю функцій. Розглянемо моделі , а . Якщо у ньому більше нульових елементів, ніж у , але приблизно така ж пояснювальна сила, ми вважаємо за краще, базуючись на бритві Оккама, оскільки він має залежність від меншої кількості змінних ( тобто ми зробили "вибір функції", встановивши деякі елементи від до нуля). Плоскість - це свого роду суцільна версія цього аргументу. Якщо кожна гранична з $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ має стандартне відхилення одиниці, і має, наприклад, 2 елементи, що дорівнюють 10, а решта менші за 0,0001, залежно від толерантності до шуму, це ефективно "вибирає" дві характеристики та знецінює решту . $\theta_1$ $n-2$
Коли використовується фокус ядра, ви здійснюєте лінійну регресію у великому (іноді нескінченному) векторному просторі. Кожен елемент тепер відповідає одному з ваших зразків , а не вашим особливостям . Якщо елементів у ненульові, а решта дорівнюють нулю, характеристики, відповідні ненульовим елементам , називаються вашими „векторами підтримки”. Для зберігання вашої моделі SVM, скажімо, на диску, вам потрібно зберегти лише ті вектори функцій, а ви можете викинути решту з них. Тепер рівність дійсно має значення, тому що маючи $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ невелика, зменшує вимоги до зберігання та передачі тощо . Знову ж таки, залежно від вашої толерантності до шуму, ви, ймовірно, зможете зняти з нуля всі елементи але найбільший за деякий після виконання регресії SVM. Площинність тут еквівалентна ситість щодо кількості векторів підтримки. $\theta$ $l$ $l$

— шабчеф
джерело

то це в основному регресія з функцією втрати "трубки" (0 штрафних балів за +/- епсилон прогнозу), а не квадратичною функцією втрати від OLS?

— кон'югатпріор

@Conjugate Prior: так, зазвичай регресія ядра мінімізує функцію 'epsilon-нечутливих втрат', яку ви можете думати як

див., Наприклад, kernelvm.tripod.com або будь-який із робіт Смола та ін .

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

— shabbychef

@shabbychef Дякую Я завжди цікавився, що там відбувається.

— кон'югат

@Conjugate Prior: Я не думаю, що це насправді бажана функція втрат, але математика в кінцевому підсумку спрацює добре, тому вони побігли з нею. Принаймні, це моя підозра.

— shabbychef

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

shabbychef дав дуже чітке пояснення з точки зору складності моделі. Я спробую зрозуміти цю проблему з іншої точки зору, якщо вона може комусь допомогти.

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

Будь-хто може легко поширити одновимірний випадок на N-мірний випадок, оскільки рівняння відстані завжди буде евклідовою відстані .

Крім того, ми можемо ознайомитися з проблемою оптимізації в SVR для порівняння [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Дякую.

[1] Смола, А. та Б. Шьолкопф. Підручник з регресії вектора підтримки. Статистика та обчислювальна техніка, Вип. 14, № 3, серпень 2004, с. 199–222.

— олоопія
джерело