Об'єднання рідких та щільних даних у машинному навчанні для підвищення продуктивності

У мене є рідкісні функції, які є прогностичними, також у мене є деякі щільні риси, які також є прогностичними. Мені потрібно поєднати ці функції разом, щоб поліпшити загальну продуктивність класифікатора.

Тепер, справа в тому, що я намагаюся поєднати їх разом, щільні риси, як правило, більше домінують над розрідженими характеристиками, отже, покращуючи AUC лише на 1% порівняно з моделлю, що має лише щільні функції.

Хтось стикався з подібними проблемами? Дійсно оцініть вкладені матеріали, начебто застрягли. Я вже спробував багато різних класифікаторів, комбінацію класифікаторів, перетворення функцій та обробку за допомогою різних алгоритмів.

Заздалегідь дякую за допомогу.

Редагувати :

Я вже спробував пропозиції, які наведені в коментарях. Я помітив, що майже 45% даних, розріджені функції дійсно добре, я отримую AUC приблизно 0,9 із лише рідкісними функціями, але для решти ті щільні функції добре справляються з AUC приблизно 0,75. Я наче намагався відокремити ці набори даних, але отримав AUC 0,6, тому я не можу просто тренувати модель та вирішувати, які функції використовувати.

Щодо фрагмента коду, я спробував стільки речей, що не знаю, чим саме поділитися :(

Це здається роботою для аналізу основних компонентів. У Scikit добре реалізована PCA, і це мені допомагало багато разів.

PCA певним чином поєднує ваші особливості. Обмеживши кількість компонентів, ви отримуєте свою модель без шумових даних (в кращому випадку). Тому що ваша модель така ж гарна, як і ваші дані.

Розглянемо нижче простий приклад.

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

Чому я вибрав 80? Коли я будую кумулятивну дисперсію, я отримав це нижче, що говорить про те, що з ~ 80 компонентів я досягаю майже всієї дисперсії.

Тому я б сказав, спробуйте, використовуйте його у своїх моделях. Це повинно допомогти.

Найкращий спосіб поєднання особливостей - через ансамблеві методи. В основному існують три різні методи: пакування, підсилення та укладання. Ви можете використовувати Adabbost, доповнений з вибором функцій (у цьому випадку враховувати як рідкісні, так і щільні функції) або на основі складання (випадкова особливість - випадковий підпростір). Я вважаю за краще другий варіант, який ви можете тренувати набір базових учнів (рішення. Дерева), використовуючи випадкові підмножини та випадкові функції (тримати навчальну базу для учнів, поки ви не покриєте весь набір функцій) Наступним кроком є ​​тестування набору навчальних програм для створення метаданих. Використовуйте ці метадані для підготовки метакласифікатора. Мета-класифікатор визначить, яка особливість є важливішою та які відносини слід використовувати

Групи змінних можуть бути мультиколінеарними або перетворення між рідкісними та щільними може піти не так. Чи задумалися ви використовувати класифікатор / класифікацію ансамблю для голосування? http://scikit-learn.org/stable/modules/ensemble.html Таким чином можна вирішити обидві вище проблеми.

Окрім деяких із наведених вище пропозицій, я б рекомендував використовувати двоступеневе моделювання підхід .

1. Спершу скористайтеся рідкісними функціями та розробіть найкращу модель.
2. Обчисліть прогнозовану ймовірність з цієї моделі.
3. Подайте цю оцінку ймовірності у другу модель (як функцію введення), яка б включала в себе щільні функції. Іншими словами, використовуйте всі щільні функції та оцінку ймовірності для побудови другої моделі.
4. Остаточна класифікація буде заснована на другій моделі.

Спробуйте PCA лише на обмежених функціях, а комбінуйте вихід PCA з щільними функціями.

Так ви отримаєте щільний набір (оригінальних) функцій + щільний набір функцій (які спочатку були рідкісними).

+1 для запитання. Будь ласка, оновіть нас з результатами.