Що відбувається, коли ми тренуємо лінійний SVM на нелінійно відокремлюваних даних?

Що відбувається, коли ми тренуємо основну машину підтримки вектора (лінійне ядро ​​та відсутність м'якого запасу) на нелінійно відокремлюваних даних? Проблема оптимізації неможлива, тому що повертає алгоритм мінімізації?

Я думаю, що базовий векторний апарат підтримки означає SVM з жорстким запасом. Отже, розглянемо:

Що таке жорсткий запас SVM

Коротше кажучи, ми хочемо знайти гіперплан з найбільшим запасом, який зможе правильно розділити всі спостереження у нашому навчальному просторі.

Проблема оптимізації у жорсткому запасі SVM

З огляду на наведене вище визначення, що таке проблема оптимізації, яку нам потрібно вирішити?

1. Найбільший запасний гіперплан: Ми хочемо max(margin)
2. Вміти правильно розділяти всі спостереження: нам потрібно оптимізувати, marginа також задовольнити обмеження: Немає помилок у вибірці

Що відбувається, коли ми тренуємо лінійний SVM на нелінійно відокремлюваних даних?

Повернімось до свого питання, оскільки ви згадали, що набір даних про тренування не є лінійно відокремленим, використовуючи жорсткий запас SVM без перетворень особливостей, неможливо знайти гіперплан, який задовольняє "Немає помилок у вибірці" .

Зазвичай ми вирішуємо задачу оптимізації SVM за допомогою квадратичного програмування, оскільки вона може виконувати завдання з оптимізації з обмеженнями. Якщо ви використовуєте Gradient Descent або інші алгоритми оптимізації, які, не задовольняючи обмежень SVM з жорстким відривом, все одно повинні отримати результат, але це не гіперплан SVM з жорстким запасом.

До речі, з нелінійно відокремленими даними ми зазвичай обираємо

• жорсткі запаси SVM + особливості перетворень
• безпосередньо використовувати SVM з м'якою маржею (на практиці SVM з м'якою маржею зазвичай отримує хороші результати)