Чи підтримує векторний апарат підтримки врівноважений набір даних?

Чи обробляє SVM незбалансований набір даних? Це будь-які параметри (наприклад, C або вартість помилкової класифікації), що обробляють незбалансований набір даних?

machine-learning svm unbalanced-classes

— RockTheStar
джерело

Що робить набір даних "незбалансованим"?

— whuber

@whuber набір даних про класифікацію з значною мірою різною поширеністю класів часто називають незбалансованим.

— Marc Claesen

@Marc Це може бути правдою в цілому, але це нечітка концепція. Наскільки "значною мірою змінюється"? Чому це має бути важливим, окрім певних особливих обставин? Я вважаю, що нам важливо дізнатися, що означає пропонувач цього питання під "незбалансованим", а не приймати розумну здогадку кого-небудь щодо наміченого сенсу.

— whuber

@whuber незбалансовані набори даних є загальною концепцією в машинному навчанні. Що стосується додатків через напр. Виявлення спаму тощо. Можливо, через перевагу алгоритмів, націлених на помилку помилкової класифікації, а не на ймовірність. Це в свою чергу робить зважування помилки проблематичним.

— seanv507

Дякую, @seanv, за роз’яснення. Термінологічна проблема насправді полягає в тому, що "ручки" не посилаються на "можуть бути застосовані", а мають на увазі параметр, в якому (1) існує клас, який є в такій меншості, на його прогнозовані показники може сильно вплинути наявність інших класів, тоді як (2) точний прогноз для класу меншин представляє інтерес. У цьому сенсі "незбалансований набір даних" є досить неповним описом проблеми, але оскільки термін, начебто, придбав певну валюту, скаржитися здається безглуздим.

— whuber

Відповіді:

Для незбалансованих наборів даних ми зазвичай змінюємо штраф за неправильну класифікацію за клас. Це називається SV-зваженим SVM, що мінімізує наступне:

\begin{aligned} min_{w, b, ξ} & \sum_{i = 1}^{N} \sum_{j = 1}^{N} α_{i} α_{j} y_{i} y_{j} κ (x_{i}, x_{j}) + C_{p o s} \sum_{i \in P} ξ_{i} + C_{n e g} \sum_{i \in N} ξ_{i}, \\ s . t . & y_{i} (\sum_{j = 1}^{N} α_{j} y_{j} κ (x_{i}, x_{j}) + b) \geq 1 - ξ_{i}, & i = 1 \dots N \\ ξ_{i} \geq 0, & i = 1 \dots N \end{aligned}

$\begin{align} \min_{\mathbf{w},b,\xi} &\quad \sum_{i=1}^N\sum_{j=1}^N \alpha_i \alpha_j y_i y_j \kappa(\mathbf{x}_i,\mathbf{x}_j) + C_{pos}\sum_{i\in \mathcal{P}} \xi_i + C_{neg}\sum_{i\in \mathcal{N}}\xi_i, \\ s.t. &\quad y_i\big(\sum_{j=1}^N \alpha_j y_j \kappa(\mathbf{x}_i, \mathbf{x}_j) + b\big) \geq 1-\xi_i,& i=1\ldots N \\ &\quad \xi_i \geq 0, & i=1\ldots N \end{align}$

де і являють собою позитивні / негативні випадки навчання. У стандартному SVM у нас є лише одне значення , тоді як зараз у нас є 2. Покарання за неправильну класифікацію для класу меншості обрано таким, що є більшим, ніж для класу більшості. $\mathcal{P}$ $\mathcal{N}$ $C$

Цей підхід був запроваджений досить рано, він згадується, наприклад, у документі 1997 року:

Едгар Осуна, Роберт Фройнд та Федеріко Жиросі. Підтримка векторних машин: Навчання та програми. Технічний звіт AIM-1602, 1997 р. ( Pdf )

По суті це еквівалентно пересимплінації класу меншин: наприклад, якщо це цілком еквівалентно навчанню стандартного SVM з після включення кожного позитивного два рази у навчальний набір. $C_{pos} = 2 C_{neg}$ $C=C_{neg}$

— Марк Класен
джерело

Класно, дякую! На додаток до цього, чи відповідає логістична регресія, Navie Bayes, дерево рішень таким дисбалансом?

— RockTheStar

Логістична регресія, безумовно, робить, ви просто зважуєте ймовірність позитивних зразків та негативних зразків по-різному.

— Дікран Марсупіал

Логістична регресія та SVM забезпечують внутрішні шляхи. Я не знаю напам'ять для всіх цих інших методів, але перенапруження класу меншин працює майже для кожного методу (хоча це не зовсім математично елегантно).

— Marc Claesen

Класно, дякую @Dikran. Марк: так, просте надмірне моделювання працює загалом. Однак це залежить від ситуації. Що трапляється, це те, що ви додаєте "ваги" до даних меншин, коли ви переоцінюєте меншість (повторюючи точки меншості знову і знову на одних і тих же місцях). Це по суті допомагає покращити "врахування" прикладу меншин. Однак межа прийняття рішення в класифікації потім стане досить напруженою (недостатньо загальною), тобто може виникнути перенавантаження). Тому нам, можливо, доведеться розглянути деякі ймовірнісні методи відбору проб, як SMOTE.

— RockTheStar

SVM можуть працювати з наборами даних з незбалансованими частотними класами. Багато реалізацій дозволяють мати різну величину штрафного покарання (С) для позитивних та негативних класів (що асимптотично еквівалентно зміні частоти класу). Я рекомендую встановити значення цих параметрів, щоб максимізувати продуктивність узагальнення на тестовому наборі, де частоти класів є тими, які ви очікуєте побачити в оперативному використанні.

Я був одним із багатьох людей, які писали з цього приводу документи, ось моє , я побачу, чи зможу я знайти щось більш недавнє / краще. Спробуйте Веропулос, Кемпбелл і Кріштіаніні (1999).

— Дікран Марсупіал
джерело

Дікран, чому він лише асимптотично еквівалентний ... безумовно, це рівнозначно зваженню різних помилок класу по-різному?

— seanv507

Це рівнозначно зваженню помилок класу, але це не те саме, що перекомпонувати дані (для початку ваги постійно змінюються, але дані дискретні). Це один з асимптотичних результатів очікування (який не здається особливо корисним у більшості випадків).

— Дікран Марсупіал