Переваги та недоліки SVM


18

Чи може хтось пояснити мені переваги та недоліки класифікації SVM, яка відрізняє її від інших класифікаторів?


3
У якому контексті? З якою метою? З яким видом SVM? Для якого типу даних?

Відповіді:


33

Є чотири основні переваги: ​​По-перше, він має параметр регуляризації, що змушує користувача задуматися про те, щоб уникнути переналагодження. По-друге, він використовує хитрість ядра, тож ви можете побудувати досвід експертів про проблему за допомогою інженерії ядра. По-третє, SVM визначається проблемою опуклої оптимізації (немає локальних мінімумів), для якої існують ефективні методи (наприклад, SMO). Нарешті, це наближення до обмеженого рівня помилки тесту, і за ним стоїть суттєва теорія, яка дозволяє припустити, що це має бути гарною ідеєю.

Недоліками є те, що теорія реально охоплює визначення параметрів для заданого значення параметрів регуляризації та ядра та вибір ядра. Певним чином, SVM переміщує проблему переналагодження від оптимізації параметрів до вибору моделі. На жаль, моделі ядра можуть бути досить чутливими до перевищення критерію вибору моделі

GC Cawley та NLC Talbot, Надмірна відповідність вибору моделі та подальша упередженість вибору в оцінці продуктивності, Journal of Machine Learning Research, 2010. Research, vol. 11, с. 2079-2107, липень 2010 р. ( Pdf )

Зауважте, однак ця проблема не властива лише методам ядра, більшість методів машинного навчання мають подібні проблеми. Втрати шарніру, використані в SVM, призводять до нерівномірності. Однак часто оптимальний вибір параметрів ядра та регуляризації означає, що в кінцевому підсумку всі дані є векторами підтримки. Якщо вам дуже потрібна машина з розрідженим ядром, використовуйте те, що з самого початку було розроблено для того, щоб бути рідкісним (а не бути корисним побічним продуктом), наприклад, Інформаційна векторна машина. Функція втрат, яка використовується для регресії вектору підтримки, не має очевидних статистичних інтепретацій, часто експертні знання проблеми можуть бути закодовані у функцію втрат, наприклад, Пуассона, Бета або Гаусса. Так само у багатьох проблемах з класифікацією ви дійсно бажаєте ймовірності членства у класі,

Це про все, що я можу придумати поза рукою.


А що з викликами труднощів з класифікацією багатокласових класів з SVM?
Вас

1
@Вас хороший момент, раніше я використовував алгоритм DAGSVM і виявив, що це досить ефективно. Проблеми з декількома класами, здається, не мають такого елегантного рішення в рамках SVM, логічна регресія багатокласного ядра була б, мабуть, самим подібним підходом, який залишався «елегантним».
Дікран Марсупіал
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.