Порівняння SVM та логістичної регресії

Чи може хтось, будь ласка, дати мені трохи зрозуміти, коли вибрати SVM чи LR? Я хочу зрозуміти інтуїцію, в чому полягає різниця між критеріями оптимізації вивчення гіперплану двох, де відповідні цілі такі:

• SVM: Намагайтеся максимально збільшувати запас між найближчими векторами підтримки
• LR: Максимізуйте ймовірність заднього класу

Розглянемо лінійний простір функцій як для SVM, так і для LR.

Про деякі відмінності я вже знаю:

1. SVM є детермінованим (але ми можемо використовувати модель Платса для оцінки ймовірності), тоді як LR є ймовірнісним.
2. Для простору ядра SVM є швидшим (зберігає лише вектори підтримки)

Лінійні SVM та логістична регресія, як правило, є практично порівняно на практиці. Використовуйте SVM з нелінійним ядром, якщо у вас є підстави вважати, що ваші дані не будуть лінійно відокремлювані (або вам потрібно бути більш надійними для людей, які зазвичай переживають, ніж LR зазвичай терпить). В іншому випадку просто спершу спробуйте логістичну регресію і подивіться, як ви робите цю простішу модель. Якщо логістична регресія не вдається, спробуйте SVM з нелінійним ядром, таким як RBF.

Редагувати:

Гаразд, поговоримо про те, звідки беруться об'єктивні функції.

Логістична регресія походить від узагальненої лінійної регресії. Добре обговорення функції цілі логістичної регресії в цьому контексті можна знайти тут: https://stats.stackexchange.com/a/29326/8451

Алгоритм підтримки "Векторних машин" набагато геометричніше . Замість того, щоб приймати ймовірнісну модель, ми намагаємось знайти конкретну оптимальну роздільну гіперплану, де ми визначаємо "оптимальність" в контексті векторів підтримки. У нас немає нічого подібного до статистичної моделі, яку ми використовуємо тут у логістичній регресії, навіть якщо лінійний випадок дасть нам подібні результати: насправді це просто означає, що логістична регресія робить досить непогану роботу з виготовлення класифікаторів «з широким запасом», оскільки це всі SVM намагаються зробити (конкретно, SVM намагається «максимізувати» запас між класами).

Я спробую пізніше повернутися до цього і трохи заглибитися в бур’яни, я просто щось посеред: p

Зображення означає різницю між SVM та логістичною регресією та де використовувати метод

ця картина походить з курсу курсу: "машинне навчання" Ендрю Н.Г. Його можна знайти на 7 тижні наприкінці: "Підтримка векторних машин - за допомогою SVM"

• LR дає калібровані ймовірності, які можна інтерпретувати як впевненість у прийнятті рішення.
• LR дає нам нестримну, гладку мету.
• LR можна (прямо) використовувати в байесівських моделях.
• SVM не карають приклади, щодо яких правильне рішення приймається з достатньою впевненістю. Це може бути корисним для узагальнення.
• SVM мають гарну подвійну форму, даючи розріджені рішення при використанні фокусу ядра (краща масштабованість)

Перевірте підтримку векторних машин проти логістичної регресії, Університет Торонто CSC2515 Кевіна Сверського.