Чи є програми, де SVM все ще перевершує?


10

Алгоритм SVM досить старий - він був розроблений у 1960-х, але був надзвичайно популярним у 1990-х та 2000-х роках. Це класична (і досить гарна) частина курсів машинного навчання.

Сьогодні здається, що в обробці медіа (зображення, звук тощо) нейронні мережі повністю домінують, тоді як в інших сферах Gradient Boosting займає дуже сильні позиції.

Крім того, на останніх конкурсах даних я не спостерігаю рішень на основі SVM.

Я шукаю приклади програм, де SVM все ще дає найсучасніші результати (станом на 2016 рік).

Оновлення: я хотів би навести приклад, який я можу навести, наприклад, студентам / колегам, коли вони пояснюють SVM, щоб він не виглядав суто теоретичним чи застарілим підходом.


3
Вищий у якому сенсі? Якийсь показник ефективності? Навчання глибокої нейронної мережі вимагає значної кількості комп'ютерного часу, але я можу тренувати справний SVM на своєму ноутбуці.
Sycorax каже, що поверніть Моніку

@ user777 Я, мабуть, маю на увазі метрику класифікації / регресії, що відповідає області застосування. Проблема з обчислювальною складністю для DL важлива, але це трохи не виходить за межі цього питання.
Аллео

Відповіді:


11

Відповідно до статті Чи потрібні сотні класифікаторів, щоб вирішити проблеми класифікації реального світу? SVM разом із Random Forest and Gradient Boots Machines є одними з найефективніших алгоритмів класифікації для великого набору 120+ наборів даних (використовуючи точність як метричну).

Я повторив свої експерименти з деякими модифікаціями, і ці три класифікатори працюють краще, ніж інші, але, як говорить теорема про безкоштовний обід , завжди є проблема, коли якийсь інший алгоритм працює краще, ніж ці три.

Так, я б сказав, що SVM (з ядром Гаусса - саме це я використовував) все ще є відповідним алгоритмом для наборів даних, що не стосуються медіа.


Привіт, дякую за відповідь! Я бачив це цікаве дослідження. Наскільки я розумію, ідея полягала в тому, щоб побачити, скільки дає класифікатор без будь-якої серйозної настройки (тоді як аналітик даних повинен виконувати налаштування IMO). Дослідження, що стосується місцевості, викликало б більший інтерес.
Аллео

1
Я пам’ятаю, що Дельгадо та всі не дуже детально шукали найкращі гіперпараметри, але якщо вони все-таки здійснили деякий пошук. Питання (на яке я не маю відповіді) полягає в тому, чи може більш тонкий пошук найкращих гіперпараметрів призведе до різних результатів. Якщо це правда, це означало б, що конкуруючі алгоритми для SVM мають загалом дуже різкий пік точності для конкретних гіперпараметрів, що, на мою думку, є негативним фактором для алгоритму.
Жак Вайнер

Також одним незначним коментарем є те, що набори даних UCI (використовуються для тестів) здебільшого досить малі. Цікаво, чи може це пояснити погані результати прискорення? Більшість проблем, пов’язаних із кеглом (із великою кількістю даних) демонструють чудову ефективність роботи системи GB.
Аллео

Я погоджуюся, що набори даних невеликі. Для великих наборів даних я зараз використовую випадкові ліси - почну використовувати ГБМ, як тільки мені буде зручніше з гіперпараметрами - я не знаю, наскільки розумним є для них GBM.
Жак Вайнер
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.