Різниця між SVM та перцептроном

29

Я трохи плутаю різницю між SVM та перцептроном. Дозвольте спробувати узагальнити своє розуміння тут, і, будь ласка, не соромтесь виправити, де я помиляюся, і заповнити те, що я пропустив.

Perceptron не намагається оптимізувати роздільну "відстань". Поки він знаходить гіперплан, який розділяє два набори, це добре. SVM, з іншого боку, намагається максимізувати "вектор підтримки", тобто відстань між двома найближчими протилежними точками вибірки.
SVM, як правило, намагається використовувати "функцію ядра" для проектування вибіркових точок на простір високих розмірів, щоб зробити їх лінійно відокремленими, в той час як персептрон передбачає, що точки вибірки лінійно відокремлюються.

machine-learning svm kernel-trick

— Вендетта
джерело

Можливий дублікат зіставлення SVM та логістичної регресії

— kjetil b halvorsen

18

Мені це звучить правильно. Люди іноді також використовують слово "Perceptron" для позначення алгоритму навчання разом із класифікатором. Наприклад, хтось мені це пояснив у відповіді на це запитання . Крім того, ніщо не заважає вам використовувати ядро з перцептроном, і це часто кращий класифікатор. Дивіться тут кілька слайдів (pdf) про те, як реалізувати перцептрон ядра.

Основна практична відмінність між (ядром) перцепттроном і SVM полягає в тому, що перцептрони можна тренувати в Інтернеті (тобто їх ваги можна оновлювати, коли нові приклади надходять по одному), тоді як SVM не можуть бути. Дивіться це питання для отримання інформації про те, чи можна SVM навчатись в Інтернеті. Таким чином, навіть якщо SVM зазвичай є кращим класифікатором, перцептрони все ще можуть бути корисними, оскільки їх дешево та легко переучити в ситуації, коли постійно надходять нові дані про навчання.

— Флорандер
джерело

3

SVM можна навчати в Інтернеті. З подвійного рішення ви можете отримати відповідне первинне і з цього оновити ваги стохастично.

— Firebug

1

jmlr.org/papers/volume6/bordes05a/bordes05a.pdf

— sinθ

4

min ‖ w ‖_{2} + C \sum_{i = 1}^{n} (1 - y_{i} (w x_{i} + w_{0}))_{+}

$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$

min \sum_{i = 1}^{n} (- y_{i} (w x_{i} + w_{0}))_{+}

$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$

Ми можемо бачити, що SVM має майже ту саму мету, що і регульований L2 перцептрон.

Оскільки мета інша, ми також маємо різні схеми оптимізації для цих двох алгоритмів, з , ми бачимо, що це ключова причина використання квадратичного програмування для оптимізації SVM. $\|w\|_2$

Чому perceptron дозволяє оновити онлайн? Якщо ви бачите правило оновлення спуску градієнта для втрати шарніра (втрати шарніру використовуються і SVM, і перцептрон),

w^{t} = w^{t - 1} + η \frac{1}{N} \sum_{i = 1}^{N} y^{i} x^{i} I (y^{i} w^{t} x^{i} \leq 0)

$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$

Оскільки всі алгоритми машинного навчання можна розглядати як поєднання функції втрат та алгоритму оптимізації.

Перцепрон - це не більше ніж втрата шарніру (функція втрат) + стохастичний градієнт спуск (оптимізація)

w^{t} = w^{t - 1} + y^{y + 1} x^{t + 1} I (y^{t + 1} w^{t} x^{t + 1} \leq 0)

$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$

І SVM можна розглядати як втрату шарніру + регуляризацію l2 (втрата + регуляризація) + квадратичне програмування або інші алгоритми оптимізації оптимізації, як SMO (оптимізація).

— xxx222
джерело

-1

Перцептрон - це узагальнення SVM, де SVM - перцептрон з оптимальною стабільністю. Отже, ви праві, коли кажете, що персептрон не намагається оптимізувати відстань поділу.

— bharadwaj aldur
джерело