Чи існує чіткий набір умов, за яких шляхи ласо, гряди чи еластичного сіткового розчину є монотонними?

18

Питання про те, що зробити висновок із цього сюжету ласо (glmnet), демонструє шляхи рішення для оцінювача ласо, які не є монотонними. Тобто, деякі коефіцієнти ростуть в абсолютній вартості, перш ніж вони скорочуються.

Я застосовував ці моделі до декількох різних типів наборів даних і ніколи не бачив такої поведінки "в дикій природі", і до сьогоднішнього дня припускав, що вони завжди монотонні.

Чи існує чіткий набір умов, за яких гарантується, що шляхи рішення одноманітні? Чи впливає це на інтерпретацію результатів, якщо шляхи змінюють напрямок?

lasso ridge-regression elastic-net

— shadowtalker
джерело

Монотонний в якому сенсі? Мені це здається не дуже значимим, якщо ви хочете трактувати це як графік якоїсь функції.

— Генрі.Л

4

@ Henry.L Питання можна перефразувати так: коли справедливо таке: для , у нас є це для всіх , де . Тобто, ласо рівномірно скорочується складно. Чи можете ви, будь ласка, уточнити те, що ви сумніваєтесь, має сенс?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— user795305

2

Примітка: розуміння способу зменшення коефіцієнтів ласо є темою як цього питання, так і stats.stackexchange.com/questions/145299/…

— user795305

1

Я не знаю, як я пропустив це раніше, на це питання відповідає Лассо на відповідь ОП на його власне запитання в запитанні вище.

— user795305

Відповіді:

2

Я можу дати вам достатню умова шлях монотонний: ортонормованій дизайн $X$ .

Припустимо, матриця ортонормальної конструкції, тобто з змінними в , маємо, що . При ортонормальному дизайні коефіцієнти регресії OLS просто . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Таким чином, умови Каруш-Хун-Таккера для LASSO спрощуються до:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Де - під градієнт. Отже, для кожного маємо, що , і ми мають рішення закритої форми для оцінок ласо: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Що є монотонним у . Хоча це не є необхідною умовою, ми бачимо , що немонотонність повинна виходити зі співвідношення коваріата в . $\lambda$ $X$

— Карлос Сінеллі
джерело

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.

Licensed under cc by-sa 3.0 with attribution required.