Чи може збільшитися, коли

11

Якщо $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , може $\|\beta^*\|_2$ збільшується, коли $\lambda$ збільшується?

Я думаю, що це можливо. Хоча $\|\beta^*\|_1$ не збільшується, коли $\lambda$ збільшується (мій доказ ), $\|\beta^*\|_2$ може збільшуватися. На малюнку нижче показана можливість. Коли $\lambda$ збільшується, якщо $\beta^*$ рухається (лінійно) від $P$ до $Q$ , тоді $\|\beta^*\|_2$ збільшується, тоді як $\|\beta^*\|_1$ зменшується. Але я не знаю, як побудувати конкретний приклад (тобто побудувати $X$ і $y$ ), щоб профіль $\beta^*$ демонстрував цю поведінку. Будь-які ідеї? Дякую.

введіть тут опис зображення

lasso

— ziyuang
джерело

10

Відповідь - так, і у вас є графічний доказ у прямо там. $\ell_2$

Знайдіть визначення еквівалентності векторних норм. Ви виявите, що де - розмірність вектора . Отже, є деяка приміщення для норми порівняно з нормою .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Насправді проблему, яку ви хочете вирішити, можна вказати як:

Знайдіть таким, що одночасно $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

Першу нерівність , розгорнемо і побачимо, що і що, припускаючи, що і , отримуємо з другої нерівності, яку ми повинні мати Будь-який що відповідає цим обмеженням, збільшить норму при зменшенні норми .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

У вашому прикладі, , , і і $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Томмі Л
джерело

Але як це пов’язано з побудовою і ?

X

$X$

y

$y$

— ziyuang

3

Дякую за відповідь @ TommyL, але його відповідь не є безпосередньою щодо побудови та . Я якось сам це "вирішую". По-перше, коли збільшується, не збільшуватиметься, коли кожна монотонно зменшується. Це відбувається, коли є ортонормальним, в якому ми маємо $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Геометрично в цій ситуації переміщується перпендикулярно до контуру норми , тому не може збільшуватися. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

Власне, Hastie та ін. згадані у статті " Попередня ступінчаста регресія та монотонне ласо" , необхідна і достатня умова монотонності профільних шляхів:

введіть тут опис зображення

У розділі 6 статті вони побудували штучний набір даних на основі кусково-лінійних функцій основи, що порушує вищевказану умову, демонструючи немонотонність. Але якщо нам пощастить, ми також можемо створити випадковий набір даних, що демонструє подібну поведінку, але більш простим способом. Ось мій R-код:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Я навмисно дозволяю стовпцям сильно корелювати (далеко не ортонормальний випадок), і у істинної є як великі позитивні, так і негативні записи. Ось профіль (не дивно, що активовано лише 5 змінних): $X$ $\beta$ $\beta^*$

введіть тут опис зображення

і відношення між та : $\lambda$ $\|\beta^*\|_2$

введіть тут опис зображення

Таким чином , ми можемо бачити , що в протягом деякого інтервалу , зростає як збільшується. $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
джерело