Коли ми говоримо, що набір даних не підлягає класифікації?

Я багато разів аналізував набір даних, на якому я не міг зробити жодної класифікації. Щоб побачити, чи можу я отримати класифікатор, я зазвичай використовую такі кроки:

1. Створіть графіки графіки мітки проти числових значень.
2. Зменшіть розмірність до 2 або 3, щоб побачити, чи розділяються класи, також іноді пробуйте LDA.
3. Намагайтеся налаштувати SVM та випадкові ліси та перегляньте важливість функції, щоб дізнатись, чи мають функції такі сенси чи ні.
4. Спробуйте змінити баланс класів та методів, таких як недобір вибірки та перевибірки, щоб перевірити, чи може виникнути неврівноваженість класів.

Є багато інших підходів, які я можу придумати, але не спробував. Іноді я знаю, що ці функції непогані і зовсім не пов'язані з етикеткою, яку ми намагаємось передбачити. Потім я використовую цю ділову інтуїцію, щоб закінчити вправу, роблячи висновок, що нам потрібні кращі функції або зовсім інші ярлики.

Моє запитання - як повідомляє Data Scientist, що класифікацію неможливо зробити за цими ознаками. Чи є який-небудь статистичний спосіб повідомити про це або встановити дані в різні алгоритми спочатку, і перегляд метрики перевірки є найкращим варіантом?

Це залежить від ваших даних. Існує щось, що називається помилкою на рівні людини. Припустимо, такі завдання, як читання друкованих книг, люди не намагаються читати, і, можливо, не трапиться помилка, якщо тільки через погану якість друку. У таких випадках, як читання рукописів, написаних власноруч, може статися багато, щоб не зрозуміти всіх слів, якщо шрифт письменника незвичний для читача. У першій ситуації помилка рівня людини занадто низька, і алгоритми навчання можуть мати однакові показники, але другий приклад ілюструє той факт, що в деяких ситуаціях помилка рівня людини настільки висока і звичайним чином (якщо ви використовуєте ту саму функції, як люди) ваш алгоритм навчання матиме стільки коефіцієнтів помилок.

У статистичному навчанні є щось, що називається Bayes Error, коли розподіл класів перекривається, коефіцієнт помилок великий. не змінюючи функцій, помилка Байєса поточних розподілів є найкращою продуктивністю і її взагалі не можна зменшити.

Я також пропоную вам прочитати тут . Проблеми з великою кількістю помилок Байєса з призначеними функціями вважаються не класифікованими в просторі цих функцій. В якості іншого прикладу можна припустити, що ви хочете класифікувати машини з увімкненими фарами. Якщо ви спробуєте це зробити вранці, у вас самих може виникнути багато помилок, і якщо ви використовуєте однакові зображення для тренування алгоритму навчання, це теж може бути.

Також рекомендую не змінювати розподіл своїх класів. У таких випадках результат класифікатора біля кордону був би абсолютно випадковим. Розподіл даних для навчання вашого алгоритму машинного навчання не слід змінювати і має бути таким, як він є в реальному стані.

Візьміть елемент вибірки з одного класу та елемент вибірки з іншого класу. Чи можливо для цих двох елементів такий самий векторний вектор? Якщо це коли-небудь може статися, то два класи не повністю відокремлені, використовуючи ваші поточні вектори функцій (оскільки рішення про класифікацію повністю базується на векторі ознак для даного елемента).

З іншого боку, якщо * кожен "елемент одного класу має відповідний елемент у другому класі, такий, що два елементи мають однакові вектори функцій, то два класи не відрізняються за допомогою ваших поточних векторів функцій.

Крім того, якщо ця умова стосується лише деяких ваших елементів, а не інших, ви знаходитесь десь посеред, і ви можете використовувати це як основу для вимірювання того, наскільки добре ви можете сподіватися, що класифікатор виконає ваш поточний набір функцій.

Усі ці оцінки можна використовувати в різній мірі, щоб стверджувати, що потрібно отримати більше функцій.