Переваги робити "подвійне ласо" або виконувати ласо двічі?

Я один раз почув метод використання ласо двічі (як подвійне ласо), коли ви виконуєте ласо на початковому наборі змінних, скажімо, S1, отримуєте розріджений набір під назвою S2, а потім знову виконуєте ласо на множині S2 для отримання множини S3 . Чи є для цього методологічний термін? Також, які переваги робити ласо двічі?

Так, процедура, яку ви просите (або думаєте), називається розслабленою ласою .

Загальна думка полягає в тому, що вперше в процесі виконання LASSO ви, ​​мабуть, включаєте "перемінники шуму"; виконання LASSO на другому наборі змінних (після першого LASSO) дає меншу конкуренцію між змінними, які є "реальними конкурентами" за те, що вони є частиною моделі, а не просто "шумовими" змінними. Технічно мета цього методу - подолати (відоме) повільне зближення LASSO у наборах даних з великою кількістю змінних.

Більше про це можна прочитати на оригінальному папері від Meinshausen (2007) .

Я також рекомендую розділ 3.8.5 « Елементи статистичного навчання» (Hastie, Tibshirani & Friedman, 2008) , де подано огляд інших дуже цікавих методів для вибору змінних за допомогою LASSO.

Ідея полягає у розділенні двох ефектів ласо

1. Змінний вибір (тобто багато, навіть більшість, $\beta$s дорівнює нулю)
2. Коефіцієнт усадки (тобто навіть ненульовий рівень) $\beta$s менші за абсолютною величиною, ніж при неперналізованій регресії). Це часто гарна річ навіть без вибору, тому що ви уникаєте перенапруги.

Якщо у вас багато змінних ($p >\!\!> n$), і вони виконують lasso, тоді ви хочете мати велике покарання, щоб вибрати невелику кількість змінних. Однак цей штраф може занадто сильно зменшити вибрані змінні (ви недооцінюєте).

Ідея розслабленого ласо полягає в тому, що ви розділяєте два ефекти: ви використовуєте високий штраф при першому проході для вибору змінних; і менший штраф на другий прохід, щоб зменшити їх на меншу суму.

Оригінальний папір (за посиланням Néstor) дає більше деталей.