Інтуїція для параметра регуляризації в SVM

Як зміна параметра регуляризації у SVM змінює межу рішення для нероздільного набору даних? Візуальна відповідь та / або якийсь коментар щодо обмежувальної поведінки (для великих і малих регуляризацій) була б дуже корисною.

svm

— ASX
джерело

Параметр регуляризації (лямбда) виступає як ступінь важливості, що надається пропуску класифікацій. SVM ставить перед собою задачу квадратичної оптимізації, яка шукає максимізацію запасу між обома класами та мінімізацію кількості пропущених класифікацій. Однак для нероздільних проблем, щоб знайти рішення, обмеження пропуску класифікації необхідно зменшити, і це робиться шляхом встановлення згаданої "регуляризації".

Таким чином, інтуїтивно, коли лямбда збільшується, тим менше допускаються неправильно класифіковані приклади (або найвища ціна, яка платить за функцію втрат). Тоді, коли лямбда має тенденцію до нескінченності, розчин тяжіє до жорсткої межі (не допускайте пропусків класифікації). Коли лямбда має тенденцію до 0 (без 0), тим більше допускаються пропуски класифікацій.

Однозначно є компроміс між цими двома та зазвичай меншими лямбдами, але не надто малим, добре узагальненим. Нижче наведено три приклади для лінійної класифікації SVM (двійкові).

Лінійна лямбда SVM = 0,1 Лінійна лямбда SVM = 1 введіть тут опис зображення

Для нелінійного ядра SVM ідея схожа. Враховуючи це, для більш високих значень лямбда існує більша можливість перевитрати, тоді як для більш низьких значень лямбда є більш високі можливості недостатнього оснащення.

Зображення нижче показують поведінку для ядра RBF, дозволяючи параметру sigma фіксуватися на 1 і намагаються лямбда = 0,01 і лямбда = 10

RBF Kernel SVM лямбда = 0,01 RBF Kernel SVM лямбда = 10

Можна сказати, що перша цифра, де лямбда нижча, є більш "розслабленою", ніж друга цифра, де дані мають бути встановлені більш точно.

(Слайди професора Оріола Пухоля. Університет Барселони)

— Хав'єрфдр
джерело

Красиві картинки! Ви їх створили самі? Якщо так, можливо, ви можете поділитися кодом для їх малювання?

— Олексій Григорьов

приємна графіка. щодо двох останніх => з тексту можна неявно подумати, що перша картина - це лямбда = 0,01, але, з мого розуміння (і, щоб відповідати графіку на початку), це одна з лямбда = 10. тому що це явно той, що має найменшу регуляризацію (найбільше надягання, найбільш розслабленість).

— Wim 'titte' Thiels

^ це теж моє розуміння. У верхній частині двох кольорових графіків чітко видно більше контурів для форми даних, таким чином, це повинен бути графік, де межа рівня SVM надається переваги з більш високою лямбда. У нижній частині двох кольорових графіків показана більш спокійна класифікація даних (невеликий скупчення синього кольору в помаранчевій області), тобто максимізація поля не надається переваги над мінімізацією кількості помилок у класифікації.

— Брайан Амб'єллі