Коли Naive Bayes працює краще, ніж SVM?


17

У невеликій проблемі класифікації тексту, яку я розглядав, Naive Bayes демонстрував виставу, схожу на SVM або більше, і я дуже розгубився.

Мені було цікаво, які фактори визначають тріумф одного алгоритму над іншим. Чи бувають ситуації, коли немає сенсу використовувати Naive Bayes над SVM? Чи може хтось пролити на це світло?


1
Перейдіть за цим посиланням для приємного та актуального підручника
q12

Відповіді:


27

Не існує єдиної відповіді про те, який найкращий метод класифікації для даного набору даних . Для порівняльного дослідження для даного набору даних завжди слід враховувати різні види класифікаторів. З огляду на властивості набору даних, у вас можуть бути деякі підказки, які можуть віддати перевагу деяким методам. Однак все-таки було б доцільно експериментувати з усіма, якщо це можливо.

Naive Bayes Classifier (NBC) та підтримка векторної машини (SVM) мають різні варіанти, включаючи вибір функції ядра для кожного. Вони чутливі до оптимізації параметрів (тобто різний вибір параметрів може істотно змінити їх вихід) . Отже, якщо у вас є результат, який показує, що NBC працює краще, ніж SVM. Це справедливо лише для вибраних параметрів. Однак для іншого вибору параметрів ви можете виявити, що SVM працює краще.

Взагалі, якщо припущення про незалежність у NBC задовольняється змінними вашого набору даних, а ступінь перекриття класу невеликий (тобто потенційна межа лінійного рішення), очікується, що NBC добрий. Для деяких наборів даних, наприклад, оптимізація за допомогою вибору функції обгортки, наприклад, NBC може перемогти інші класифікатори. Навіть якщо він досягне порівняльних показників, NBC буде більш бажаним через високу швидкість.

Підсумовуючи це, ми не повинні віддавати перевагу жодному методу класифікації, якщо він перевершує інших в одному контексті, оскільки він може сильно вийти з ладу в іншому. ( ЦЕ НОРМАЛЬНО У ПРОБЛЕМАХ ЗВІДНОСТІ ДАНИХ ).


7
(+1) Також називається відсутність теореми про безкоштовний обід . Я не повністю згоден зі порівнянням чутливості до параметрів (хоча дерево рішень є одним з найбільш чутливих підходів IMHO), але ми не повинні про це обговорювати тут :).
steffen

@steffen, дякую за ваш цінний коментар. Існує багато різних способів оптимізації моделей, і я погоджуюся, що ми не можемо узагальнити, яка модель є більш сенситивною у всіх випадках. Щодо вибору функцій, DT, ймовірно, менш чутливі, ніж NBC, але це може бути не так. Я відредагую відповідь, щоб розглянути ваш коментар, і якщо ви хочете, ви також можете її відредагувати. Дуже дякую :).
суфаном

3
+1 для коментаря щодо чутливості параметрів. Варто також зазначити, що велика частина теорії, що лежить в основі SVM, застосовується до моделей з фіксованим ядром, тому щойно ви намагаєтеся оптимізувати гіперпараметри (що потрібно робити і робити обережно), значна частина теоретичної бази більше не застосовується.
Дікран Марсупіал
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.