Як інтерпретувати результати, коли і гребінець, і ласо окремо працюють добре, але дають різні коефіцієнти

Я запускаю регресійну модель як з Лассо, так і з Ріджем (для прогнозу дискретної змінної результату в межах від 0 до 5). Перш ніж запустити модель, я використовую SelectKBestметод scikit-learnзменшення набору функцій з 250 до 25 . Без початкового вибору особливостей і Лассо, і Рідж поступаються нижчим показникам точності [що може бути пов'язано з малим розміром вибірки, 600]. Також зауважте, що деякі функції співвідносяться.

Після запуску моделі я зауважую, що точність прогнозування майже однакова з Лассо та Ріджем. Однак, коли я перевіряю перші 10 функцій, після того як упорядковувати їх за абсолютним значенням коефіцієнтів, я бачу, що існує не більше% 50 перекриття.

Тобто, враховуючи, що різні значення особливостей присвоювали кожному методу, я можу мати зовсім іншу інтерпретацію, засновану на обраній вами моделі.

Зазвичай функції відображають деякі аспекти поведінки користувачів на веб-сайті. Тому я хочу пояснити результати, підкреслюючи особливості (поведінку користувачів) з більш сильною прогностичною здатністю та слабшими рисами (поведінка користувача). Однак я не знаю, як рухатись вперед у цей момент. Як слід підходити до інтерпретації моделі? Наприклад, чи слід поєднувати обидва і підкреслювати один, що перекривається, або я повинен перейти з Лассо, оскільки це забезпечує більшу інтерпретацію?

Регресія хребта спонукає всі коефіцієнти стати малими. Лассо закликає багато / більшість [**] коефіцієнтів стати нульовими, а кілька - ненульовими. Обидва вони знизять точність на тренувальному наборі, але покращать прогнозування певним чином:

• регресія хребта намагається покращити узагальнення до тестового набору за рахунок зменшення надмірного набору
• lasso зменшить кількість ненульових коефіцієнтів, навіть якщо це покарає результативність як на навчальних, так і на тестових наборах

Ви можете отримати різні варіанти коефіцієнтів, якщо ваші дані сильно співвідносяться. Отже, у вас може бути 5 функцій, які співвідносяться:

• присвоївши малі, але ненульові коефіцієнти всім цим характеристикам, регресія хребта може домогтися низьких втрат на тренувальному наборі, що може бути правдоподібним для генерації тестового набору
• lasso може вибрати лише одну з них, що добре співвідноситься з іншими чотирма. і немає ніяких причин, чому він повинен вибирати функцію з найвищим коефіцієнтом у версії регресної гребені

[*] для визначення значення "вибрати": призначає ненульовий коефіцієнт, який все ще трохи розмахує рукою, оскільки коефіцієнти регресії хребта, як правило, не будуть нульовими, але, наприклад, деякі можуть бути як 1e-8 , а інші можуть бути, наприклад, 0,01

[**] нюанс: як зазначає Річард Харді, для деяких випадків використання може бути вибрано значення що призведе до того, що всі коефіцієнти LASSO будуть не нульовими, але з деякою усадкою$\lambda$