Як підтримується векторна регресія інтуїтивно?

Усі приклади SVM пов'язані з класифікацією. Я не розумію, як SVM для регресії (вектор регресора підтримки) може бути використаний при регресії.

З мого розуміння, SVM максимально збільшує запас між двома класами, щоб знайти оптимальну гіперплану. Як це могло б працювати в регресійній проблемі?

Коротше кажучи: максимізація запасу в цілому можна розглядати як регуляризацію рішення шляхом мінімізації (що по суті мінімізує складність моделі), це робиться як в класифікації, так і в регресії. Але у випадку класифікації ця мінімізація робиться за умови, що всі приклади класифіковані правильно, а у випадку регресії за умови, що значення y усіх прикладів відхиляється менше, ніж потрібна точність ϵ від f ( x ) для регресії.$w$$y$$\epsilon$$f(x)$

Щоб зрозуміти, як переходити від класифікації до регресії, допомагає побачити, як в обох випадках застосовується одна і та ж теорія SVM, щоб сформулювати проблему як проблему опуклої оптимізації. Я спробую поставити обидва боки.

(Я проігнорую слабкі змінні, які дозволяють помилково класифікувати та відхилення вище точності )$\epsilon$

Класифікація

У цьому випадку метою є знайти функцію де f ( x ) ≥ 1 для позитивних прикладів і f ( x ) ≤ - $f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$ для негативних прикладів. У цих умовах ми хочемо максимізувати маржу (відстань між 2 - червоними смугами) , який є не більше ніж зведення до мінімуму похідної .$f'=w$

Інтуїція максимізації запасу полягає в тому, що це дасть нам унікальне рішення проблеми пошуку (тобто ми відкидаємо, наприклад, синю лінію), а також, що це рішення є найбільш загальним за цих умов, тобто діє як регуляризація$f(x)$ . Це можна зрозуміти, що навколо межі прийняття рішення (де перетинаються червоні та чорні лінії) класифікаційна невизначеність є найбільшою і вибір найнижчого значення для у цій області дасть найбільш загальне рішення.$f(x)$

Точки даних на двох червоних смугах є векторами опори в цьому випадку, вони відповідають ненульовим множникам Лагранжа рівності частини рівності умов нерівності і$f(x) \geq 1$$f(x) \leq -1$

Регресія

$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$

$|y -f(x)|\leq \epsilon$

Висновок

В обох випадках виникає така проблема:

За умови, що:

• Усі приклади класифіковані правильно (Класифікація)
• $y$$\epsilon$$f(x)$

У SVM для проблеми класифікації ми насправді намагаємось відокремити клас якомога далі від лінії, що розмежовується (Hyperplane), і на відміну від логістичної регресії ми створюємо межу безпеки з обох сторін гіперплощини (різниться між логістичною регресією та класифікацією SVM в їх функція втрат). Врешті-решт, маючи відокремлені різні точки даних, якнайдалі від гіперплану.

У SVM для проблеми регресії ми хочемо підходити до моделі, щоб передбачити кількість на майбутнє. Тому ми хочемо, щоб точка даних (спостереження) була максимально наближена до гіперплану на відміну від SVM для класифікації. Регресія SVM, успадкована від простої регресії типу (Звичайна найменша площа) за цією різницею, що ми визначаємо діапазон епсілонів з обох сторін гіперплощини, щоб зробити функцію регресії нечутливою до помилки на відміну від SVM для класифікації, що ми визначаємо межу безпечною для створення майбутнє рішення (прогнозування). Врешті-решт,