Чому проксимальний градієнтний спуск замість простих субградієнтних методів для Лассо?

Я думав вирішити Лассо за допомогою градієнтних методів ванілі. Але я читав людей, які пропонують використовувати проксимальний градієнтний спуск. Чи може хтось виділити, чому для Лассо застосовують проксимальний ГД замість методів градієнта ванілі?

Орієнтовне рішення справді можна знайти для ласо з використанням градієнтних методів. Наприклад, скажімо, що ми хочемо мінімізувати наступну функцію втрат:

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

Градієнт строку покарання становить для і для , але строк покарання не є диференціальним при . Натомість ми можемо використовувати підградієнт , який однаковий, але має значення для .$-\lambda$$w_i < 0$$\lambda$$w_i > 0$$0$$\lambda \text{sgn}(w)$$0$$w_i = 0$

Відповідним субградієнтом функції втрати є:

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

Ми можемо мінімізувати функцію втрат, використовуючи підхід, схожий на спуск градієнта, але використовуючи підградієнт (який повсюдно дорівнює градієнту, крім , де градієнт не визначений). Рішення може бути дуже близьким до справжнього рішення ласо, але може не містити точних нулів - там, де ваги повинні були дорівнювати нулю, натомість вони приймають надзвичайно малі значення. Ця відсутність справжньої розрідженості є однією з причин не використовувати субградієнтні методи для ласо. Спеціалізовані розв'язувачі використовують перевагу структури проблеми, щоб обчислювати ефективні розрізнені рішення. Це повідомлення$0$говорить, що, окрім створення розріджених рішень, виділені методи (включаючи методи проксимального градієнта) мають більш високу швидкість конвергенції, ніж субградієнтні методи. Він дає кілька посилань.