Чому масштаб важливий для лінійної класифікації SVM?

Виконуючи лінійну класифікацію SVM, часто корисно нормалізувати дані тренувань, наприклад, віднімаючи середнє та ділення на стандартне відхилення, а потім масштабувати дані тесту із середнім та стандартним відхиленням даних тренувань. Чому цей процес різко змінює ефективність класифікації?

Я думаю, що це можна зробити більш зрозумілим на прикладі. Скажімо, у вас є два вхідні вектори: X1 і X2. і скажімо, X1 має діапазон (0,1-0,8), а X2 має діапазон (3000 до 50000). Тепер ваш класифікатор SVM буде лінійною межею, що лежить у площині X1-X2. Я стверджую, що нахил межі лінійного рішення не повинен залежати від діапазону X1 і X2, а натомість від розподілу точок.

Тепер давайте зробіть прогноз на точки (0,1, 4000) та (0,8, 4000). Майже не буде різниці у значенні функції, що робить SVM менш точним, оскільки він буде мати меншу чутливість до точок у напрямку X1.

SVM намагається збільшити відстань між розділовою площиною та векторами опори. Якщо одна особливість (тобто один вимір у цьому просторі) має дуже великі значення, вона буде домінувати над іншими ознаками при обчисленні відстані. Якщо змінити масштаб усіх функцій (наприклад, до [0, 1]), всі вони мають однаковий вплив на метрику відстані.