Різниця між логістичною регресією та підтримуючими векторними машинами?

Я знаю, що при логістичній регресії виявляється гіперплан, який розділяє навчальні зразки. Я також знаю, що векторні машини підтримки знаходять гіперплан з максимальним запасом.

Моє запитання: чи різниця між логістичною регресією (LR) та машинами підтримки вектора (SVM) полягає в тому, що LR виявляє будь-яку гіперплану, яка розділяє навчальні зразки, тоді як SVM знаходить гіперплан з максимальним запасом? Або я помиляюся?

Примітка: нагадаємо, що в LR при тоді логістична функція дає 0,5 . Якщо прийняти 0,5 як поріг класифікації, то θ ⋅ x = 0 - це гіперплан або межа рішення.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Ви маєте рацію, якщо ви говорите про жорсткий SVM, і два класи лінійно розділені. LR знаходить будь-яке рішення, яке розділяє два класи. Жорсткий SVM знаходить «рішення» серед усіх можливих, що мають максимальний запас.

Якщо м'який SVM і класи не є лінійно відокремленими, ви все ще маєте рацію з невеликою модифікацією. Помилка не може стати нульовою. LR знаходить гіперплан, який відповідає мінімізації деякої помилки. Soft SVM намагається мінімізувати помилку (іншу помилку) і одночасно виправляє цю помилку з запасом через параметр регуляризації.

Одна різниця між ними: SVM - жорсткий класифікатор, але LR - ймовірнісний. SVM рідкісний. Він вибирає вектори підтримки (з навчальних зразків), які мають найбільш дискримінаційну силу між двома класами. Оскільки інші навчальні бали не перевищують тестування в тестовий час, ми не маємо уявлення про розподіл будь-якого з двох класів.

Я пояснив, як LR-рішення (за допомогою IRLS) розбивається у випадку лінійно відокремленості двох класів і чому він перестає бути імовірнісним класифікатором у такому випадку: /stats//a/133292/66491