Класифікація з одним домінуючим предиктором

Я маю ($k$-класова) класифікаційна проблема з набором 100 реальних оцінок прогнозів, один з яких, здається, має набагато більше пояснювальної сили, ніж будь-який з інших. Я хотів би детальніше познайомитися з ефектами інших змінних. Однак, стандартні методи машинного навчання (випадкові ліси, SVM та ін.), Схоже, переповнюються одним сильним передбачувачем і не дають мені багато цікавої інформації про інших.

Якби це була проблема регресії, я б просто регресував проти сильного прогноктора, а потім використовував залишки в якості вхідних даних для інших алгоритмів. Я насправді не бачу, як цей підхід можна перевести в контекст класифікації.

Мій інстинкт полягає в тому, що ця проблема повинна бути досить поширеною: чи існує стандартна методика її вирішення?

Для проблем 2 класу ви можете використовувати пакет GBM в R , який ітеративно підходить деревам класифікації до залишків з функції втрати. На жаль, він ще не підтримує багатокласних проблем.

Це здається проблемою, яка добре підходить для підвищення, але я не знаю жодних програм підсилення, які підтримують проблеми k-класу. Я думаю, що проблема полягає в написанні відповідної функції втрат для декількох класів. В glmnetпакетах мають поліноміальний функцію втрат, можливо , ви можете переглядати це вихідний код для деяких покажчиків.

Ви можете спробувати написати власний алгоритм прискорення або ви можете перетворити свою проблему на k бінарні проблеми класифікації (один клас порівняно з усіма іншими класами), пристосувати модель gbm до кожної проблеми та оцінити ймовірність класу від кожної моделі.