Чому Lasso забезпечує змінний вибір?

Я читав Елементи статистичного навчання , і хотів би знати, чому Лассо забезпечує змінний вибір, а регрес хребта не робить.

Обидва способи мінімізують залишкову суму квадратів і обмежують можливі значення параметрів . Для Лассо обмеження є , тоді як для хребта це , для деякого .$\beta$$||\beta||_1 \le t$$||\beta||_2 \le t$$t$

Я бачив у книзі картину діаманта проти еліпса, і я маю певну інтуїцію, чому Лассо може вдарити по кутах обмеженої області, що означає, що один із коефіцієнтів встановлений на нуль. Однак моя інтуїція досить слабка, і я не переконаний. Це легко зрозуміти, але я не знаю, чому це правда.

Тому я думаю, що я шукаю математичне обґрунтування чи інтуїтивне пояснення того, чому контури залишкової суми квадратів, ймовірно, потраплять у кути обмеженої області (тоді як ця ситуація малоймовірна, якщо обмеження - ).$||\beta||_1$$||\beta||_2$

Розглянемо дуже просту модель: , з покаранням L1 на та функцією втрати найменших квадратів на . Ми можемо розширити вираз до мінімізації як:$y = \beta x + e$$\hat{\beta}$$\hat{e}$

$\min y^Ty -2 y^Tx\hat{\beta} + \hat{\beta} x^Tx\hat{\beta} + 2\lambda|\hat{\beta}|$

Припустимо, що рішення з найменшими квадратами є деяким , що еквівалентно припущенню, що , і подивимося, що станеться, коли ми додамо штраф L1. З , , тому термін штрафу дорівнює . Похідна цільової функції wrt :$\hat{\beta} > 0$$y^Tx > 0$$\hat{\beta}>0$$|\hat{\beta}| = \hat{\beta}$$2\lambda\beta$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda$

який, очевидно, має рішення . $\hat{\beta} = (y^Tx - \lambda)/(x^Tx)$

Очевидно, збільшуючи ми можемо загнати до нуля (при ). Однак, як тільки , збільшення не призведе до цього негативного, тому що, пишучи вільно, мить стає негативною, похідна цільової функції змінюється на:$\lambda$$\hat{\beta}$$\lambda = y^Tx$$\hat{\beta} = 0$$\lambda$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} - 2\lambda$

де переворот у знаку обумовлений абсолютним значенням строку покарання; коли стає негативним, штрафний термін стає рівним , а прийняття похідної wrt призводить до . Це призводить до рішення , яке, очевидно, не відповідає (враховуючи, що рішення з найменшими квадратами , що означає , і$\lambda$$\beta$$-2\lambda\beta$$\beta$$-2\lambda$$\hat{\beta} = (y^Tx + \lambda)/(x^Tx)$$\hat{\beta} < 0$$> 0$$y^Tx > 0$$\lambda > 0$). Збільшення штрафу L1 І збільшення терміну помилки у квадраті (оскільки ми рухаємось далі від рішення з найменшими квадратами) при переміщенні від до , тому ми цього не робимо, ми просто дотримуйтесь на .$\hat{\beta}$$0$$< 0$$\hat{\beta}=0$

Інтуїтивно зрозуміло, що та ж логіка застосовується з відповідними змінами знаків і для рішення мінімум квадратів з . $\hat{\beta} < 0$

Однак з покаранням найменших квадратів , однак похідна стає:$\lambda\hat{\beta}^2$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda\hat{\beta}$

який, очевидно, має рішення . Очевидно, що жодне збільшення призведе до нуля. Таким чином, покарання L2 не може діяти як інструмент вибору змінних без м'яких рекламних випробувань, таких як "встановити оцінку параметра рівній нулю, якщо вона менше ". $\hat{\beta} = y^Tx/(x^Tx + \lambda)$$\lambda$$\epsilon$

Очевидно, що все може змінитися, коли ви переходите до багатоваріантних моделей, наприклад, переміщення однієї оцінки параметрів навколо може призвести до зміни іншого знака, але загальний принцип той же: функція штрафу L2 не може отримати вас до нуля, тому що, пишучи дуже евристично, це фактично додає «знаменнику» виразу для , але функція штрафу L1 може, тому що фактично додає до «чисельника». $\hat{\beta}$

Припустимо, у нас є набір даних з y = 1 і x = [1/10 1/10] (одна точка даних, дві функції). Одне рішення - вибрати одну з особливостей, інша - зважити обидві функції. Тобто ми можемо вибрати або w = [5 5], або w = [10 0].

Зауважте, що для норми L1 обидва мають однаковий розмір штрафу, але чим більше розкинута вага має менший показник для норми L2.

Я думаю, що вже є чудові підказки, але просто для додання інтуїції щодо геометричної інтерпретації:

"Ласо виконує усадку , так що в обмеженні є" кути ", які в двох вимірах відповідають алмазу. Якщо сума квадратів" влучить "в один з цих кутів, то коефіцієнт, що відповідає осі, скорочується до нуля.$L1$

Зі збільшенням багатовимірний алмаз має зростаючу кількість кутів, і тому велика ймовірність, що деякі коефіцієнти будуть встановлені рівними нулю. Отже, ласо здійснює вибір усадки та (ефективно) підмножини.$p$

На відміну від вибору підмножини, хребет виконує м'яке порогове значення: коли параметр згладжування змінюється, вибірковий шлях оцінок постійно переміщується до нуля ".

Джерело: https://onlinecourses.science.psu.edu/stat857/book/export/html/137

Ефект можна добре візуалізувати там, де кольоровими лініями є шляхи коефіцієнтів регресії, що скорочуються до нуля.

"Регресія хребта зменшує всі коефіцієнти регресії до нуля; ласо має тенденцію давати набір нульових коефіцієнтів регресії і призводить до розрідженого рішення."

Джерело: https://onlinecourses.science.psu.edu/stat857/node/158