П'ять найкращих класифікаторів, які слід спробувати першими

Крім очевидних характеристик класифікатора, як

• обчислювальна вартість,
• очікувані типи даних функцій / міток та
• придатність для певних розмірів і розмірів наборів даних,

які перші п’ять (або 10, 20?) класифікаторів спробувати спершу на новому наборі даних, про який ще не відомо багато (наприклад, семантика та співвідношення окремих ознак)? Зазвичай я пробую Naive Bayes, Найближчий сусід, Дерево рішень та SVM - хоча у мене немає вагомих причин для цього вибору, окрім як я їх знаю, і в основному розумію, як вони працюють.

Я думаю, слід вибрати класифікатори, які охоплюють найважливіші загальні підходи до класифікації. Який вибір ви б рекомендували, згідно з цим критерієм чи з будь-якої іншої причини?

ОНОВЛЕННЯ: Альтернативним формулюванням цього питання може бути: "Які загальні підходи до класифікації існують та які конкретні методи охоплюють найбільш важливі / популярні / перспективні?"

Випадковий ліс

Швидкий, надійний, хороша точність, в більшості випадків нічого не налаштовує, не вимагає нормалізації, несприйнятливий до колінеарності, генерує досить гарне наближення помилок та корисне ранжування важливості як побічного ефекту тренувань, тривіально паралельних, прогнозує за мить очей.

Недоліки: повільніше, ніж тривіальні методи, такі як kNN або NB, найкраще працює з рівними класами, гіршою точністю, ніж SVM, для проблем, що відчайдушно потребують хитрість ядра, є жорстким чорним скринькою, не робить кави.

Класифікатор Гауссового процесу (не використовуючи наближення Лапласа), переважно з маргіналізацією, а не оптимізацією гіперпараметрів. Чому?

1. тому що вони дають імовірнісну класифікацію
2. ви можете використовувати функцію ядра, яка дозволяє вам безпосередньо працювати над невекторними даними та / або включати експертні знання
3. вони мають справу з невизначеністю при правильному встановленні моделі, і ви можете поширити цю невпевненість у процесі прийняття рішення
4. як правило, дуже хороші прогнозні показники.

Недоліки

1. повільний
2. вимагає багато пам’яті
3. непрактично для великих масштабних проблем.

Перший вибір хоч би був регульованою логістичною регресією або регресією хребта [без вибору особливостей] - для більшості проблем дуже прості алгоритми працюють досить добре і складніше помилитися (на практиці різниця в продуктивності між алгоритмами менша, ніж відмінності в продуктивності між оператором, який їх керує).

Сам по собі, коли ви підходите до нового набору даних, ви повинні почати стежити за цілою проблемою. Перш за все отримайте розподіл за категоричними ознаками та середніми та стандартними відхиленнями для кожної безперервної ознаки. Потім:

• Видалити функції, у яких відсутні більше X% значень;
• Видаліть категоричні ознаки, коли певне значення отримує більше 90-95% відносної частоти;
• Видаліть безперервні функції з CV = std / mean <0,1;
• Отримайте ранжування параметрів, наприклад ANOVA для безперервного та Chi-квадрата для категоричного;
• Отримати значну підмножину функцій;

Тоді я зазвичай розбиваю методи класифікації на 2 набори: біла коробка та техніка чорного ящика. Якщо вам потрібно знати, як працює класифікатор, вам слід вибрати в першому наборі, наприклад, Дерева рішень або класифікатори на основі правил.

Якщо вам потрібно класифікувати нові записи, не будуючи модель, слід звернути увагу на охочого учня, наприклад, KNN.

Після цього я думаю, що краще мати поріг між точністю та швидкістю: Нейронна мережа трохи повільніше, ніж SVM.

Це моя п'ять найкращих методик класифікації:

1. Дерево рішень;
2. Класифікатори на основі правил;
3. SMO (SVM);
4. Наївний Байєс;
5. Нейронні мережі.