Інтерпретація відстані від гіперплану в SVM

У мене є кілька сумнівів у розумінні SVM інтуїтивно. Припустимо, ми навчили модель SVM для класифікації, використовуючи стандартний інструмент, наприклад SVMLight або LibSVM.

1. Коли ми використовуємо цю модель для прогнозування тестових даних, модель генерує файл із значеннями "альфа" для кожної точки тестування. Якщо значення альфа позитивне, тестова точка належить до класу 1, інакше вона належить до класу 2. Тепер, чи можна сказати, що тестова точка з більшим значенням "альфа" належить до відповідного класу з "більшою" ймовірністю?

2. Подібно до першого питання, коли ми навчаємо SVM. Брехня СВ дуже близька до гіперплощини. Так це означає, що SV належать до цього класу з високою ймовірністю? Чи можемо ми пов’язати ймовірність приналежності точки до класу з його відстані від "гіперплана"? Чи відповідає значення "альфа" відстань від "гіперплана"?

Дякуємо за ваш внесок.

| | ш ‖ 2 2 ш р ( ш | ( у 1 , х 1 ) , . . . , ( У м , х м ) ) α 1 / Z exp ( - ‖ w ‖ 2 2 ) $\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$ж $p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$гарантує, що вона нормалізується). Ви добираєтесь до ймовірності Гаусса від функції втрати, перевернувши її знак і піддавши його експоненції. Однак якщо ви робите це з функцією втрати SVM, ймовірність журналу не є нормалізованою імовірнісною моделлю.

Є спроби перетворити SVM в єдине ціле. Найпомітніший з них, я думаю - також реалізований у libsvm, це:

Джон Платт: Імовірнісні результати для векторних машин підтримки та порівняння з нормалізованими методами ймовірності (NIPS 1999): http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

Щоб відповісти на ваше запитання конкретніше: ідея в SVM справді полягає в тому, що чим далі тестовий вектор знаходиться від гіперплану, тим більше він належить до певного класу (за винятком випадків, коли він перебуває з неправильної сторони). У цьому сенсі вектори підтримки не належать до класу з великою часткою ймовірності, оскільки вони або ті, хто є найближчим до гіперплану, або з неправильної сторони. Значення яке ви отримуєте від libsvm, не має нічого спільного з у функції прийняття рішення. Це, скоріше, вихід функції рішення (і тому слід правильно називати ). Оскільки де$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$ живе в просторі ядра Гільберта, що відтворюється, пропорційно підписаній відстані до гіперплану. Було б, якщо ви поділите на норму , яка в термінах ядра .$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$