Навіщо використовувати SVM, чому мені потрібно масштабувати функції?

Відповідно до документації об'єкта StandardScaler в scikit-learn:

Наприклад, багато елементів, які використовуються в об'єктивній функції алгоритму навчання (наприклад, ядро RBF в підтримці векторних машин або регуляризатори L1 і L2 лінійних моделей), припускають, що всі функції зосереджені навколо 0 і мають відмінність в одному порядку. Якщо функція має дисперсію, яка на порядок більше, ніж інші, вона може домінувати над цільовою функцією і змушує оцінювач не в змозі правильно вчитися на інших ознаках, як очікувалося.

Я повинен масштабувати свої особливості перед класифікацією. Чи є якийсь простий спосіб показати, чому я повинен це робити? Посилання на наукові статті були б ще кращими. Я вже знайшов одного, але, мабуть, багато іншого.

— лунати
джерело

Відповіді:

Всі методи ядра базуються на відстані. Функцією ядра RBF є (використовуючи для простота). $\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$ $\gamma=1$

Дано 3 функції векторів:

x_{1} = [1000, 1, 2], x_{2} = [900, 1, 2], x_{3} = [1050, - 10, 20] .

$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$

тоді , тобто нібито більше схожий на ніж на . $\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$

Відносні відмінності між та: $\mathbf{x}_1$

x_{2} \to [0.1, 0, 0], x_{3} \to [0.05, - 10, 10] .

$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$

Отже, не змінюючи масштаб, ми робимо висновок, що більше схожий на ніж на , хоча відносні відмінності на особливість між та набагато більше, ніж у та . $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_1$ $\mathbf{x}_2$

Іншими словами, якщо ви не масштабуєте всі функції до порівнянних діапазонів, функції з найбільшим діапазоном повністю домінуватимуть у обчисленні матриці ядра.

Прості приклади для того, щоб проілюструвати це, ви можете знайти в наступному документі: Практичний посібник з підтримки векторної класифікації (Розділ 2.2).

— Марк Класен
джерело

Ви також можете поговорити про регуляризацію: масштаб ваг залежить від шкали входів ...

— seanv507

Ефект регуляризації полягає в тому, що різні масштабування передбачають різний оптимальний , що є дещо ортогональним для даного питання.

C

$C$

— Marc Claesen

Але дійсно може бути, що близькість уздовж одного виміру важливіша. Таким чином, мета насправді не є однаковою дисперсією у всіх характеристиках, але їх масштабування таким чином, щоб відстані вздовж кожної функції мали приблизно однакове значення для виконання завдання.

— ісаранді

@Marc Claesen, якщо ваші змінні мають різну величину, то ваги також будуть різними порядками, а норма l2 зосередиться на входах, які мають невелику дисперсію та відповідно велику вагу. по-іншому, регуляризація вагових норм забезпечує малі наслідки для «малих» входів. Це має сенс лише в тому випадку, якщо ви стандартизували "малий" (через свої входи), наприклад, нормалізуючи свої змінні

— seanv507

@ seanv507, що стосується лише лінійного SVM.

— Марк Клайсен

Це залежить від того, яке ядро ви використовуєте. На сьогодні найпоширенішим (крім лінійного) є гауссова ядро, яке має форму

f = e x p (\frac{- | | x_{1} - x_{2} | |^{2}}{2 σ^{2}})

$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$

SVM приймає цю функцію і використовує її для порівняння подібності точки ( ) до будь-якої іншої точки набору тренувань шляхом підсумовування різниць як: $x1$

(x_{1} - l_{1})^{2} + (x_{2} - l_{2})^{2} . . . + (x_{n} - l_{n})^{2}

$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$

де - ваш приклад, а значення - орієнтири. $x$ $l$

Якщо функція коливається від 0 до 50 000, тоді як функція коливається від 0 до 0,01, ви можете бачити, що буде домінувати над цією сумою, а практично не матиме впливу. З цієї причини необхідно масштабувати функції перед застосуванням ядра. $x{_{1}}$ $x{_{2}}$ $x{_{1}}$ $x{_{2}}$

Якщо ви хочете дізнатися більше, рекомендую модуль 12 (Підтримка векторних машин) з онлайн-курсу Стенфорда з машинного навчання в Coursera (безкоштовно та будь-коли): https://www.coursera.org/course/ml

— ralph346526
джерело