Використання LASSO лише для вибору функцій

У моєму класі машинного навчання ми дізналися про те, наскільки регресія LASSO дуже гарна при виборі функцій, оскільки використовує регуляризацію .$l_1$

Моє запитання: чи зазвичай люди використовують модель LASSO лише для вибору функцій (а потім переходять до скидання цих функцій в іншу модель машинного навчання), або вони зазвичай використовують LASSO для вибору функції та фактичної регресії?

Наприклад, припустимо, що ви хочете зробити регресію хребта, але ви вважаєте, що багато ваших особливостей не дуже хороші. Було б розумним запустити LASSO, взяти лише ті функції, які не є нульовими за алгоритмом, а потім використовувати лише ті, що скидають ваші дані в регресійну модель хребта? Таким чином, ви отримуєте перевагу регуляризації для вибору функції функції, але також і перевагу регуляризації для зменшення перевитрати. (Я знаю, що це, в основному, означає еластичну чисту регресію, але, схоже, вам не потрібно включати як терміни і в кінцевій функції регресії.)$l_1$$l_2$$l_1$$l_2$

Окрім регресії, це мудра стратегія при виконанні завдань класифікації (використання SVM, нейронних мереж, випадкових лісів тощо)?

Практично будь-який підхід, який робить певну форму вибору моделі, а потім проводить подальший аналіз, як ніби раніше не було вибору моделі, як правило, має погані пропорції. Якщо не існують переконливих теоретичних аргументів, підкріплених доказами, наприклад, великими моделювальними дослідженнями для реалістичних розмірів вибірки та показниками порівняно зі співвідношеннями розмірів вибірки, щоб показати, що це виняток, можливо, такий підхід матиме незадовільні властивості. Мені невідомі такі позитивні докази такого підходу, але, можливо, це є хтось інший. Зважаючи на те, що є розумні альтернативи, які дозволяють досягти всіх бажаних цілей (наприклад, еластична сітка), такий підхід важко виправдати, використовуючи натомість такий підозрілий спеціальний підхід.

Окрім усіх відповідей вище: Можна розрахувати точний тест на перестановку chi2 для таблиць 2x2 та rxc. Замість того, щоб порівнювати наше спостережуване значення статистики хі-квадрата з асимптотичним розподілом хі-квадрата, нам потрібно порівняти його з точним розподілом перестановки. Нам потрібно переставити наші дані усіма можливими способами, підтримуючи постійні поля рядків та стовпців постійними. Для кожного перестановленого набору даних ми обчислили статистику chi2. Потім ми порівнюємо спостережуваний chi2 із (відсортованою) статистикою chi2. Рейтинг реального тестового показника серед перетворених статистичних даних chi2 дає p-значення.