Модифікація Лассо для ЛАРС

12

Я намагаюся зрозуміти, як алгоритм Ларса можна модифікувати для генерації Лассо. Поки я розумію LARS, я не в змозі побачити модифікацію Лассо з статті Tibshirani et al. Зокрема, я не бачу, чому умова знаку в тому, що знак ненульової координати має відповідати знаку поточної кореляції. Може хтось, будь ласка, допоможе мені у цьому. Я думаю, я шукаю математичне підтвердження, використовуючи умову KKT для початкової проблеми норми L-1, тобто Лассо. Велике спасибі!

lasso

— новачок
джерело

Ви посилаєтесь на stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf ? Це доводиться в лемі 8 розділу 5. Або я неправильно розумію ваше запитання?

— Пітер Елліс

1

Я також не впевнений у питанні, але насправді Лассо - це спрощення Ларса: Для Лассо ви шукаєте лише позитивні кореляції між поточною залишковою та рештою базовими функціями, оскільки лише позитивні кореляції призводять до позитивних (~ негативні) коефіцієнти.

— Містер Білий

2

Нехай (розмір ) позначає набір стандартизованих входів, (розмір ) відповіді по центру, (розмір ) ваги регресії та a коефіцієнт штрафування. $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

Проблема LASSO потім записує

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Вирішуючи це для всіх значень виходить так званий шлях регуляризації LASSO . $\lambda > 0$ $\beta^*(\lambda)$

Для фіксованого значення коефіцієнта покарання (тобто фіксованої кількості активних предикторів = фіксований крок алгоритму LARS) можна показати, що задовольняє (просто запишіть умову стаціонарності KKT, як у цьому відповідь ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

з представляє сукупність активних предикторів. $A$

Оскільки має бути позитивним (це коефіцієнт покарання), зрозуміло, що знак (вага будь-якого ненульового, отже, активного провісника) повинен бути однаковим, ніж у тобто кореляція із залишковою регресією поточної регресії. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Чотирикутник
джерело

1

@ Mr._White надав чудове інтуїтивне пояснення головної різниці між ЛАРС та Лассо; Єдине, що я хотів би додати, це те, що ласо - це (як) як підхід до відбору назад, вибиваючи термін на кожному кроці до тих пір, поки існує термін, для якого з цих ("нормалізованих" за ) кореляцій існує. LARS зберігає все там - в основному виконуючи ласо в кожному можливому порядку. Це означає, що в лассо кожна ітерація залежить від того, які терміни вже видалено. $X \times X$

Реалізація Effron ілюструє, що відмінності різняться: lars.R у вихідному pkg для lars . Зауважте крок оновлення матриць матриця і починаючи з рядка 180, і випадання термінів, для яких . Я можу собі уявити деякі дивні ситуації, що виникають із просторів де терміни є неврівноваженими ( та дуже корелюються, але не з іншими, з але не з іншими тощо), порядок вибору може бути досить упередженим. $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

— напр
джерело