Який зв’язок між SVM та втратою шарніру?

Ми з колегою намагаємось обернути голову навколо різниці між логістичною регресією та SVM. Зрозуміло, вони оптимізують різні цільові функції. Чи SVM такий простий, як сказати, що це дискримінаційний класифікатор, який просто оптимізує втрату шарніру? Або це складніше за це? Як вживаються вектори підтримки? А як щодо слабких змінних? Чому ти не можеш мати глибокий SVM так, як ти не можеш мати глибоку нейронну мережу з функціями активації сигмоїдів?

Вони обидві дискримінаційні моделі, так. Функція втрати логістичної регресії концептуально є функцією всіх точок. Правильно класифіковані точки додають дуже мало функції втрат, додаючи більше, якщо вони близькі до межі. Точки біля кордону, таким чином, важливіші для втрат, і тому визначають, наскільки хороша межа.

SVM використовує шарнірну втрату, яка концептуально ставить акцент на граничні точки. Все, що знаходиться далі від найближчих точок, нічого не приносить втратам через "шарнір" (максимум) у функції. Найближчі точки - вектори підтримки, просто. Тому він фактично зводиться до вибору кордону, який створює найбільший запас - відстань до найближчої точки. Теорія полягає в тому, що крайовий випадок - це все, що насправді має значення для узагальнення.

Мінусом є те, що втрати шарнірів не є диференційованими, але це просто означає, що потрібно більше математики, щоб дізнатися, як оптимізувати її за допомогою множників Лагранжа. Він насправді не обробляє той випадок, коли дані не лінійно відокремлюються. Нестійкі змінні - це хитрість, яка дозволяє цю можливість чітко включити до проблеми оптимізації.

Ви можете використовувати втрату шарніру з "глибоким навчанням", наприклад http://arxiv.org/pdf/1306.0239.pdf