Чому класифікатор регресійного регресу досить добре працює для класифікації тексту?

Під час експерименту з класифікації тексту я виявив класифікатор хребта, що генерує результати, які постійно перевершують тести серед тих класифікаторів, які частіше згадуються та застосовуються для завдань з виведення тексту, таких як SVM, NB, kNN тощо. Хоча я ще не розробив про оптимізацію кожного класифікатора в цій конкретній задачі класифікації тексту, за винятком деяких простих налаштувань параметрів.

Такий результат згадувався також Дікран Марсупіал .

Не виходячи зі статистичних даних, після прочитання деяких матеріалів в Інтернеті я все ще не можу з’ясувати основні причини цього. Чи міг би хтось дати зрозуміти такий результат?

Проблеми класифікації тексту, як правило, є досить високими розмірами (багато функцій), і проблеми з високими розмірами, ймовірно, будуть лінійно відокремлювані (оскільки ви можете відокремити будь-які точки d + 1 у двовимірному просторі за допомогою лінійного класифікатора, незалежно від того, як точки маркуються). Тож лінійні класифікатори, чи то регресія хребта, чи SVM з лінійним ядром, ймовірно, спрацюють добре. В обох випадках параметр ridge або C для SVM (як tdc згадує +1) контролюють складність класифікатора і допомагають уникнути переналагодження, розділяючи шаблони кожного класу на великі поля (тобто поверхня рішення переходить вниз середина проміжку між двома збірками балів). Однак, щоб отримати хороші показники, параметри гребеня / регуляризації потрібно правильно налаштувати (я використовую перехресну перевірку "відпустити один виїзд", як це дешево).

Однак причиною того, що регресія хребта працює добре, є те, що нелінійні методи є надто потужними і важко уникнути перенапруги. Можливо, існує нелінійний класифікатор, який дає кращі показники узагальнення, ніж найкраща лінійна модель, але важко оцінити ці параметри, використовуючи кінцевий зразок навчальних даних, який ми маємо. На практиці, чим простіша модель, тим менше проблем у нас в оцінці параметрів, тим менша тенденція до перезміщення, тому ми отримуємо кращі результати на практиці.

Інша проблема - це вибір функції, регресія хребта дозволяє уникнути переналагодження, регулюючи ваги, щоб вони залишалися невеликими, а вибір моделі прямий вперед, оскільки вам потрібно вибрати лише значення одного параметра регресії. Якщо ви намагаєтеся уникнути перевиконання, вибираючи оптимальний набір функцій, то вибір моделі стає складним, оскільки існує певна свобода (свого роду) для кожної функції, що дає можливість перевиконати критерій вибору функції, і ви в кінцевому підсумку набір функцій, оптимальних для даного конкретного зразка даних, але які дають низькі показники узагальнення. Таким чином, невиконання вибору функцій та використання регуляризації часто можуть дати кращу прогнозовану ефективність.

Я часто використовую Баггінг (формую комісію моделей, що навчаються на завантажених зразках з навчального набору) з хребтом-регресійними моделями, що часто покращує продуктивність, і оскільки всі моделі лінійні, ви можете комбінувати їх для формування єдиної лінійної моделі , тому в експлуатації не спостерігається показник продуктивності.

Регресія хребта, як випливає з назви, є методом регресії, а не класифікацією. Імовірно, ви використовуєте поріг, щоб перетворити його в класифікатор. У будь-якому випадку ви просто вивчаєте лінійний класифікатор, який визначається гіперпланом. Причина, по якій він працює, полягає в тому, що завдання, яке знаходиться в роботі, по суті лінійно відокремлюється, тобто простий гіперплан - це все, що потрібно для розділення класів. Параметр "хребет" дозволяє йому працювати у випадках, які не є повністю лінійно відокремленими, або проблем, які не мають дефіциту (у такому випадку оптимізація була б виродженою).

У цьому випадку немає ніяких причин, чому інші класифікатори також не повинні працювати добре, якщо вважати, що вони були виконані правильно. Наприклад, SVM знаходить «оптимальну роздільну гіперплану» (тобто гіперплан, що максимально збільшує запас або розрив між класами). CПараметр SVM є параметр , аналогічне регулювання потужності до параметру коника, який дозволяє для деяких неправильної класифікації (що відхиляються значень). Якщо припустити, що процес вибору параметрів проводився старанно, я би сподівався, що ці два методи дадуть майже такі самі результати на такому наборі даних.