Виведення розчину ласо в закритій формі

Для проблеми з ласо таким, що . Я часто бачу результат м'якого порогу для ортонормального випадку Стверджується, що рішення може бути "легко показано" таким, але я ніколи не бачив відпрацьованого рішення. Хтось бачив один чи, можливо, зробив виведення? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— Гері
джерело

Це здається трохи заплутаним. На початку ви припускаєте обмеження

t

$t$ а в рішення вводите параметр

γ

$\gamma$ . Я здогадуюсь, що ви маєте намір пов'язати це двоє через подвійну проблему, але, можливо, ви зможете зрозуміти, що шукаєте.

— кардинал

Частково реагуючи на @cardinal, пошук

β

$\beta$ який мінімізує

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ умови

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ , еквівалентний знаходженню

β

$\beta$ що мінімізує

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ . Існує взаємозв'язок 1-1 між

t

$t$ і

γ

$\gamma$ . Щоб "легко" зрозуміти, чому результат м'якого порогового значення такий, я рекомендую вирішити другий вираз (у моєму коментарі).

Ще одна примітка, коли знаходить

β

$\beta$ що мінімізує

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , розділіть проблему на

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ і

β = 0

$\beta=0$ .

@cardinal А так, 1-1 невірно. Виправлення: для кожного

t \geq 0

$t\geq0$ ви можете знайти

γ \geq 0

$\gamma\geq 0$ .

Дякую за чудову дискусію! Я натрапив на це відео на курсі - Отримання оновлення спуску координат ласо , що дуже актуально для цієї дискусії, і проходить рішення дуже елегантно. Може бути корисним для майбутніх відвідувачів :-)

— zorbar

Відповіді:

На це можна напасти різними способами, включаючи досить економічні підходи через умови Каруша – Куна – Таккера .

Нижче - досить елементарний альтернативний аргумент.

Рішення з найменшими квадратами для ортогональної конструкції

Припустимо, складається з ортогональних стовпців. Тоді рішення з найменшими квадратами - $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

Деякі еквівалентні проблеми

Через форму зрозуміти, що еквівалентною проблемою, що розглядається у питанні, є

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

Розгортаючи перший доданок, отримуємо і оскільки не містить жодного цікавих змінних, ми можемо відмовитись від неї та розглянути ще одну еквівалентну проблему $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

Зауваживши, що , попередню проблему можна переписати як $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

Наша цільова функція - це сукупність цілей, кожна з яких відповідає окремій змінній , тому кожне може вирішуватися індивідуально. $\beta_i$

Ціле дорівнює сумі його частин

Зафіксуйте певне . Тоді ми хочемо мінімізувати $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

Якщо , тоді ми повинні мати оскільки в іншому випадку ми можемо перевернути його знак і отримати меншу величину для цільової функції. Так само, якщо , тоді ми повинні вибрати . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

Випадок 1 : . Оскільки , та диференціюючи це відносно та встановивши рівне нулю , ми отримуємо і це можливо лише в тому випадку, якщо правий бік невід'ємний, тож у цьому випадку фактичне рішення - $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Випадок 2 : . Це означає, що ми повинні мати і так Диференціюючи відносно та встановивши рівне нулю, отримаємо . Але, знову ж таки, щоб переконатися, що це можливо, нам знадобиться , що досягається, приймаючи $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

В обох випадках ми отримуємо бажану форму, і так ми закінчуємо.

Заключні зауваження

— кардинальний
джерело

Чудова запис @cardinal!

— Гері

+1 Всю другу половину можна замінити простим спостереженням , що цільова функція є об'єднання частин двох опуклих парабол з вершинами на , де негативний знак приймається за а позитивний в іншому випадку. Формула - це просто фантазійний спосіб вибору нижньої вершини.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

Якщо можливо, я хотів би побачити виводи, використовуючи умови оптимальності KKT. Які ще способи отримати цей результат?

— користувач1137731

@Cardinal: дякую за приємне виведення. Одне спостереження. Якщо я пригадую, матриця з ортогональними стовпцями не є такою ж, як ортогональна (також ортонормальна) матриця. Тоді для деякої діагональної матриці (не обов'язково матриці тотожності). З припущенням ортогональної матриці (як це в оригінальному питанні), у нас є і все виглядає чудово :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Олег Мельников

@cardinal Я не розумію, чому ви говорите: "оскільки в іншому випадку ми можемо перевернути його знак і отримати меншу величину для цільової функції". Ми беремо похідну від цільової функції. То що робити, якщо цільова функція є вищою чи нижчою, кого це хвилює. Все, що нас цікавить, - це похідна, яка встановлена на нуль, ми ставимося до екстремуму. Будь то вища чи нижча на постійну, це не впливає на аргмін.

— user13985

Припустимо , що коваріат , стовпці , також стандартизовані , так що . Це просто для зручності пізніше: без цього позначення стає просто важчим, оскільки є лише діагональним. Далі припустимо, що . Це необхідне припущення для досягнення результату. Визначте оцінювач найменших квадратів . Потім, (лагранжева форма) ласо-оцінки $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} де - проксимальний оператор функції та м'яких порогів на суму

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

Це виведення, яке пропускає детальну деривацію проксимального оператора, яку розробляє Кардинал, але, сподіваюся, уточнює основні кроки, які роблять можливою закриту форму.

— користувач795305
джерело