Що таке ласо в регресійному аналізі?

Я шукаю нетехнічне визначення ласо і для чого він використовується.

LASSO (Оператор найменшої абсолютної усадки та вибору) - це метод регресії, який передбачає покарання абсолютного розміру коефіцієнтів регресії.

Штрафуючи (або еквівалентно обмежуючи суму абсолютних значень оцінок), ви потрапляєте в ситуацію, коли деякі оцінки параметрів можуть бути абсолютно нульовими. Чим більше застосовується штраф, тим подальші оцінки зменшуються до нуля.

Це зручно, коли ми бажаємо автоматичного вибору ознак / змінних або коли ми маємо справу з сильно корельованими предикторами, коли стандартна регресія зазвичай має «занадто великі» коефіцієнти регресії.

https://web.stanford.edu/~hastie/ElemStatLearn/ (Безкоштовне завантаження) має хороший опис LASSO та пов'язаних з ним методів.

Регресія LASSO - це тип регресійного аналізу, при якому одночасно відбувається зміна вибору та регулювання. Цей метод використовує штраф, який впливає на значення коефіцієнтів регресії. Зі збільшенням штрафу більше коефіцієнтів стає нульовим, а віра Верса. Він використовує техніку нормалізації L1, в якій параметр настройки використовується як кількість усадки. Зі збільшенням параметра налаштування тоді зміщення збільшується, а як зменшується, то і дисперсія збільшується. Якщо він постійний, то жодні коефіцієнти не дорівнюють нулю, а як це тенденція до нескінченності, то всі коефіцієнти будуть дорівнювати нулю.

При "нормальній" регресії (OLS) метою є мінімізація залишкової суми квадратів (RSS), щоб оцінити коефіцієнти

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

У випадку регресії LASSO ви оцінюєте коефіцієнти дещо іншим підходом:

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

$\lambda$$\lambda$

$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$чим більше штрафних санкцій застосовується до коефіцієнтів, тим меншими будуть коефіцієнти, деякі можуть стати нульовими. Це означає, що LASSO може призвести до парсимонізованих моделей, зробивши вибір функції, і це заважає моделі переобладнати. Однак, ви можете використовувати LASSO, якщо у вас є багато функцій, і ваша мета - швидше передбачити дані, ніж інтерпретувати коефіцієнти вашої моделі.