Які сфери доменів, де SVM все ще є найсучаснішими?

Здається, що глибокі нейронні мережі та інші моделі, що базуються на нейронних мережах, домінують у багатьох сучасних областях, таких як комп'ютерний зір, класифікація об'єктів, навчання підкріплення тощо.

Чи є домени, де SVM (або інші моделі) все ще дають найсучасніші результати?

Найсучасніший - це жорстка планка, тому що не ясно, як його слід вимірювати. Альтернативний критерій, схожий на сучасний, - це запитати, коли ви хочете спробувати SVM.

SVM мають ряд переваг:

1. Завдяки фокусу з ядром, час виконання SVM значно не збільшується, якщо ви хочете вивчити шаблони для багатьох нелінійних комбінацій функцій, а не оригінальний набір функцій. На відміну від цього, більш сучасний підхід, як глибока нейронна мережа, повинен буде глибше чи ширше моделювати ті ж схеми, що збільшить його час навчання.
2. SVM мають властивий ухил до вибору «консервативних» гіпотез, які мають меншу ймовірність перевиконання даних, оскільки вони намагаються знайти максимальну маржу гіпотез. У певному сенсі вони «заграють» бритву Оккама.
3. SVM мають лише два гіперпараметри (вибір ядра та константа регуляризації), тому вони дуже легко налаштовуються на конкретні проблеми. Зазвичай їх достатньо налаштувати, виконавши простий пошук по сітці через простір параметрів, який можна зробити автоматично.

SVM також мають деякі недоліки:

1. SVM мають час виконання, який кубічно збільшує кількість точок даних, на яких ви хочете тренуватися (тобто $O(n^3)$час виконання) ¹ . Це не добре порівнюється з, скажімо, типовим підходом до тренувань для глибокої нейромережі, яка працює$O(w*n*e)$ час, де $n$ - кількість точок даних, $e$ - кількість навчальних епох, і $w$- кількість ваг у мережі. Взагалі$w, e << n$.
2. Для використання трюку Kernel, SVM кешують значення для kernelized "відстань" між будь-якими двома парами точок. Це означає, що вони потрібні$O(n^2)$пам'ять. Це набагато більше проблем, ніж кубічне виконання на більшості реальних наборів. Більш ніж декілька тисяч точок даних залишать більшість сучасних серверів , які обмолочують , що збільшує ефективний час виконання на кілька порядків. Разом з пунктом 1, це означає, що SVM будуть, як правило, непрацездатними для наборів, що перевищують, можливо, 5000-1000 точок даних на верхній межі.

Усі ці фактори вказують на те, що SVM є актуальними саме для одного випадку використання: невеликі набори даних, де вважається цільова модель, apriori, яка є звичайною, але сильно нелінійною функцією великої кількості функцій. Цей випадок використання насправді виникає досить часто. Нещодавній приклад прикладу, де я визнав, що SVM є природним підходом, - це побудова прогнозних моделей для цільової функції, яка, як відомо, є результатом взаємодії між парами функцій (зокрема, зв'язку між парами агентів). Таким чином, SVM з квадратичним ядром може ефективно вивчити консервативні, розумні здогадки.

¹ Існують приблизні алгоритми, які дозволять вирішити SVM швидше, ніж це, як зазначено в інших відповідях.

Глибоке навчання та нейронні мережі набувають більшої уваги через останні досягнення в цій галузі, і більшість експертів вважають, що це майбутнє вирішення проблем машинного навчання.

Але не помиляйтесь, класичні моделі все ж дають винятковий результат і в певних проблемах вони можуть дати кращі результати, ніж глибоке навчання.

Лінійна регресія досі є найбільш популярним алгоритмом машинного навчання у світі.

Важко визначити конкретний домен, де класичні моделі завжди працюють краще, оскільки точність дуже залежить від форми та якості вхідних даних.

Тож вибір алгоритму та моделі - це завжди компроміс. Це дещо точне твердження про те, що класичні моделі все ж працюють краще з меншими наборами даних. Однак багато досліджень спрямовані на покращення продуктивності моделі глибокого навчання з меншою кількістю даних.

Більшість класичних моделей потребують менших обчислювальних ресурсів, тому якщо ваша мета - швидкість, то вона значно краща.

Крім того, класичні моделі легше реалізувати та візуалізувати, що може бути ще одним показником ефективності, але це залежить від ваших цілей.

Якщо у вас є необмежені ресурси, об'ємний набір даних, що спостерігається, належним чином позначений і ви правильно їх реалізуєте в проблемній області, то глибоке навчання, швидше за все, дасть кращі результати в більшості випадків.

Але на мій досвід, реальні умови ніколи не є такими ідеальними

Повністю згоден з відповіддю @ Джона. Спробую і доповнити це ще деякими моментами.

Деякі переваги SVM:

a) SVM визначається проблемою випуклої оптимізації, для якої існують ефективні методи вирішення, як SMO .

б) Ефективний у просторових просторах, а також у випадках, коли кількість розмірів більше, ніж кількість зразків.

в) Використовує підмножину навчальних балів у функції прийняття рішень (так званих векторів підтримки), тому вона також є ефективною для пам'яті.

г) Для функції прийняття рішення можуть бути визначені різні функції ядра. . У своїй найпростішій формі трюк ядра означає перетворення даних в інший вимір, який має чіткий запас поділу між класами даних.

До недоліків допоміжних векторних машин можна віднести:

a) Якщо кількість особливостей значно більше, ніж кількість зразків, вирішальне значення має уникнути перевиконання у виборі функцій ядра та терміну регуляризації. Моделі ядра можуть бути досить чутливими до перевищення критерію вибору моделі

б) SVM безпосередньо не дають оцінок ймовірності. У багатьох проблемах з класифікацією ви дійсно бажаєте ймовірності членства в класі, тому було б краще використовувати метод на зразок логістичної регресії, а не післяобробляти вихід SVM для отримання ймовірностей.

Для наборів даних низькомірних табличних даних. DNN не ефективні при низькомірному введенні через величезну перепараметризацію. Тож навіть якщо набір даних має величезні розміри, але кожен зразок є низькомірним SVM, він би би DNN.

Більш загально, якщо дані є табличними і кореляція між полями вибірки є слабкою та галасливою, SVM все ще може бити DNN навіть для даних високих розмірів, але це залежить від конкретних даних.

На жаль, я не можу пригадати жодних конкретних статей з цього приводу, тому це здебільшого здорові розумові міркування, вам не потрібно довіряти цьому.