Коли незбалансовані дані насправді є проблемою в машинному навчанні?

Ми вже мали кілька питань про незбалансоване даних при використанні логістичної регресії , SVM , дерева рішень , упаковки в пакети і ряд інших подібних питань, що робить його дуже популярною темою! На жаль, кожне з питань, схоже, відповідає алгоритму, і я не знайшов загальних рекомендацій щодо поводження з незбалансованими даними.

Цитуючи одну з відповідей Марка Клайсена , що стосується незбалансованих даних

(...) сильно залежить від методу навчання. Більшість підходів загального призначення мають один (або кілька) способів вирішити це.

Але коли саме ми повинні турбуватися про незбалансовані дані? Які алгоритми на нього найбільше впливають і які здатні з цим боротися? За якими алгоритмами нам знадобиться збалансувати дані? Я знаю, що обговорення кожного з алгоритмів було б неможливим на такому веб-сайті з питань запитання, я шукаю загальні рекомендації щодо того, коли це може бути проблемою.

Не пряма відповідь, але варто зазначити, що в статистичній літературі деякі забобони щодо незбалансованих даних мають історичне коріння.

Багато класичних моделей акуратно спрощуються з урахуванням збалансованих даних, особливо для таких методів, як ANOVA, які тісно пов'язані з експериментальним дизайном - традиційна / оригінальна мотивація розробки статистичних методів.

Але статистична / ймовірнісна арифметика стає досить потворною, досить швидко, з незбалансованими даними. До широкого прийняття комп'ютерів, обчислення вручну були настільки обширними, що оцінити моделі на незбалансованих даних було практично неможливо.

Звичайно, комп’ютери в основному спричинили це не проблемою. Так само ми можемо оцінювати моделі на масивних наборах даних, вирішувати задачі щодо оптимізації великої міри та брати зразки з аналітично нерозбірливих спільних розподілів ймовірностей, які були функціонально неможливими, як п'ятдесят років тому.

Це стара проблема, і вчені занурили багато часу на роботу над проблемою ... тим часом багато прикладних проблем випереджали / ухилялися від досліджень, але старі звички важко вмирають ...

Редагувати, щоб додати:

Я усвідомлюю, що я не вийшов, і просто кажу: не існує проблеми низького рівня з використанням незбалансованих даних. На мій досвід, порада "уникати незбалансованих даних" є або алгоритмом, або успадкованою мудрістю. Я погоджуюся з AdamO, що в цілому незбалансовані дані не становлять концептуальної проблеми для чітко визначеної моделі.

WLOG Ви можете зосередитись на дисбалансі в одному факторі, а не на більш нюансованому понятті "розрідженість даних" або на малій кількості комірок.

У статистичних аналізах, не зосереджених на навчанні, ми часто виявляємо, що подібні або кращі сили забезпечуються при використанні показників схильності для відповідності меншої групи до більшої групи. Частково це пояснюється тим, що узгодження слугує аналогічною метою - визначити коригування з точки зору "врівноваження" детермінант членства в групі, тим самим блокуючи їх заплутані ефекти. Обґрунтування кількості конфундерів, що можливо підкоригується при багатоваріантному аналізі, залежить від розміру вибірки. Деякі правила показують одну змінну на кожні 10-20 спостережень. У незбалансованих даних ви наївно вважаєте, що ваші дані є достатньо великими, але з рідкісним числом людей, які мають рідші умови: інфляція дисперсії значно зменшує потужність. Ви, насправді, над налагодженням.

Тому, принаймні, в регресії (але я підозрюю, що за будь-яких обставин) єдина проблема з незбалансованими даними полягає в тому, що ви фактично маєте невеликий розмір вибірки . Якщо який-небудь метод підходить для кількості людей рідшого класу, не повинно виникнути жодних проблем, якщо їх пропорційне членство є незбалансованим.

Незбалансовані дані - це лише проблема залежно від вашої програми. Якщо, наприклад, ваші дані вказують на те, що A трапляється 99,99% часу і 0,01% часу B, і ви намагаєтеся передбачити певний результат, ваш алгоритм, ймовірно, завжди скаже А. Це, звичайно, правильно! Навряд чи для вашого методу буде вища точність прогнозування, ніж 99,99%. Однак у багатьох додатках нас не цікавить лише правильність прогнозування, а й те, чому B буває іноді. Саме тут неврівноважені дані стають проблемою. Тому що важко переконати ваш метод, що він може прогнозувати краще, ніж на 99,99% правильно. Метод правильний, але не для вашого питання. Тому вирішення незбалансованих даних в основному навмисно зміщує ваші дані, щоб отримати цікаві результати замість точних результатів.

Загалом є три випадки:

1. ви суто зацікавлені в точному прогнозуванні, і ви вважаєте, що ваші дані є репресивними. У цьому випадку вам зовсім не потрібно виправлятись, Баскет в славі своїх 99,99% точних прогнозів :).

2. Вас цікавить прогнозування, але ваші дані з справедливої ​​вибірки, але ви якось втратили ряд спостережень. Якщо ви втратили спостереження абсолютно випадковим чином, у вас все ще добре. Якщо ви втратили їх упереджено, але не знаєте, як упереджено, вам знадобляться нові дані. Однак якщо ці спостереження втрачаються лише на основі одного характерного характеру. (наприклад, ви сортували результати за A і B, але не будь-яким іншим способом, але втратили половину B). Ypu може завантажувати ваші дані.

3. Вас не цікавить точне глобальне передбачення, але лише в рідкісних випадках. У цьому випадку ви можете завищити дані цього випадку, завантаживши ці дані, або якщо у вас є достатньо даних, що передають дані інших випадків. Зауважте, що це зміщує ваші дані та результати, тому ймовірність, і такий результат неправильний!

Взагалі це в основному залежить від того, яка мета. Деякі цілі страждають від незбалансованих даних, інші - ні. Від цього страждають усі загальні методи прогнозування, оскільки в іншому випадку вони взагалі дадуть жахливі результати.

Припустимо, у нас є два класи:

• A , що становить 99,99% населення
• B , що становить 0,01% населення

Припустимо, ми зацікавлені в виявленні елементів класу В, які можуть бути особи, уражені рідкісним захворюванням або шахраєм.

Тільки вгадавши А які навчаються б високий бал за їх втрати-функцій і дуже мало неправильно класифікованих елементів не може рухатися, чисельно, голка (в стозі сіна, в даному випадку). Цей приклад наводить інтуїцію за одним із "хитрощів" для зменшення проблеми дисбалансу класу: налаштування функції витрат.

Я відчуваю, що незбалансовані дані є проблемою, коли моделі демонструють чутливість майже до нуля та майже одну специфіку. Дивіться приклад у цій статті в розділі "Ігнорування проблеми" .

Проблеми часто мають рішення. Поряд із вищезгаданим трюком, є й інші варіанти . Однак вони досягають ціни: збільшення моделі та складності обчислювальної техніки.

Питання задає питання про те, які моделі мають більше шансів на майже нульову чутливість та майже одну специфіку. Я відчуваю, що це залежить від кількох вимірів:

• Менша ємність, як зазвичай.
• Деякі функції витрат можуть боротися більше, ніж інші: середня квадратична помилка (MSE) менш піддається впливу, ніж Huber - MSE має бути менш доброякісним щодо неправильно класифікованих елементів класу B.

Якщо ви подумаєте над цим: На ідеально відокремленому сильно незбалансованому наборі даних практично будь-який алгоритм виконуватиметься без помилок.

Отже, це більше проблема шуму даних і менш прив’язана до певного алгоритму. І ви заздалегідь не знаєте, який алгоритм найкраще компенсує один конкретний тип шуму.

Зрештою, вам просто потрібно спробувати різні методи та вирішити шляхом перехресної перевірки.