Навіщо використовувати групове ласо замість ласо?

Я прочитав те, що груповий ласо використовується для вибору змінних і обмеженості в групі змінних. Я хочу знати інтуїцію, що стоїть за цим твердженням.

• Чому груповий ласо віддається перевагу ласо?
• Чому шлях розв’язання групового ласо не є кусочно лінійним?

Інтуїтивно кажучи, груповий ласо може віддавати перевагу ласо, оскільки він надає нам можливість включити (певний тип) додаткову інформацію в нашу оцінку для справжнього коефіцієнта . Як крайній сценарій, враховуючи наступне:$\beta^*$

За допомогою поставте як підтримку . Розглянемо оцінювач "oracle" що є груповим ласо з двома групами - одна справжня підтримка і один доповнення. Нехай - найменше значення що робить . Зважаючи на характер групового штрафу за ласо, ми знаємо, що при переходить від до (для деяких невеликих$y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$$S = \{j : \beta^*_j \neq 0 \}$$\beta^*$

$$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$$ $\lambda_{max}$$\lambda$$\hat{\beta} = 0$$\lambda$$\lambda_{max}$$\lambda_{max} - \epsilon$$\epsilon > 0$ ), рівно одна група буде входити в підтримку , який в народі вважається оцінкою для . Завдяки нашому групуванню, з великою часткою ймовірності, вибрана група буде , і ми зробили ідеальну роботу.$\hat{\beta}$$S$$S$

На практиці ми не дуже добре підбираємо групи. Однак групи, не дивлячись на кращий, ніж екстремальний сценарій вище, все ж допоможуть нам: вибір все одно буде зроблений між групою справжніх коваріатів та групою неправдивих коваріатів. Ми все ще позичаємо сили.

Це формалізовано тут . Вони показують, за деяких умов, що верхня межа похибки прогнозування групового ласо нижня, ніж нижня межа похибки прогнозування простого ласо. Тобто вони довели, що групування робить нашу оцінку кращою.

Що стосується вашого другого запитання: (звичайна) ласова кара є кусочно лінійною, і це породжує кусочно-лінійний шлях рішення. Інтуїтивно зрозуміло, що у випадку групового ласо, покарання вже не є кусочно лінійним, тому у нас більше немає цієї властивості. Великий довідник по кусково - лінійності шляхів вирішення є тут . Дивіться їх пропозицію 1. Нехай і . Вони показують, що шлях рішення групового ласо є лінійним тоді і лише тоді, коли є кусочно постійною. Звичайно, це не так, оскільки наша кара має глобальну кривизну.$L(\beta) = \|y - X \beta\|_2^2$$J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

$$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$$ $J$

Відповідь Бена - найзагальніший результат. Але інтуїтивна відповідь на ОП мотивована випадком категоричних предикторів, які зазвичай кодуються як декілька фіктивних змінних: по одному для кожної категорії. У багатьох аналізах має сенс розглядати ці фіктивні змінні (що представляють один категоричний предиктор) разом, а не окремо.

Якщо у вас є категоріальна змінна з, скажімо, п’ятьма рівнями, прямий ласо може залишити два в і три. Як ви вирішуєте це принципово? Вирішили проголосувати? Буквально використовувати мінливі змінні замість більш змістовної категоричності? Як кодування манекена впливає на ваш вибір?

Як говориться у вступі "Ласо групи" для логістичної регресії , вона згадує:

Вже для особливого випадку в лінійній регресії, коли присутні не тільки безперервні, але й категоричні предиктори (фактори), рішення ласо не є задовільним, оскільки він вибирає лише окремі манекенні змінні замість цілих факторів. Більше того, рішення ласо залежить від того, як кодуються мінливі змінні. Вибір різних контрастів для категоричного прогноктора загалом дасть різні рішення.

Як зазначає Бен, існують також більш тонкі зв’язки між передбачувачами, які можуть вказувати на те, що вони повинні або бути разом, або виходити. Але категоричні змінні - це дочірній плакат для групового ласо.