Яка найменша яка дає 0 компонент у ласо?

Визначте оцінку ласо де рядок проектної матриці - вектор коваріатів для пояснення стохастичної відповіді (для ).

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

Ми знаємо, що для $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ , оцінка ласо $\hat\beta^\lambda = 0$ . (Дивіться, наприклад, область параметрів настройки Лассо та Рідж .) В інших позначеннях це виражає, що $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ . Зауважте, що $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ Це ми можемо побачити візуально із наступним зображенням, що відображає шлях рішення ласо:

Зверніть увагу , що на далеко правій стороні ділянки, всі коефіцієнти дорівнюють нулю. Це відбувається в описаній вище точці $\lambda_\mathrm{max}$ .

З цього сюжету ми також помічаємо, що на крайній лівій стороні всі коефіцієнти є ненульовими: яке значення при якому будь-який компонент спочатку дорівнює нулю? Тобто, що дорівнює, як функція і ? Мене цікавить рішення закритої форми. Зокрема, мене не цікавить таке алгоритмічне рішення, як, наприклад, припущення, що LARS може знайти вузол шляхом обчислення. $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

Незважаючи на мої інтереси, здається, що може бути недоступним у закритому вигляді, оскільки, в іншому випадку, обчислювальні пакети ймовірно, скористаються цим при визначенні глибини параметрів настройки під час перехресної перевірки. Зважаючи на це, мене цікавить все, що теоретично можна показати про та (досі), особливо зацікавлене у закритій формі. $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— користувач795305
джерело

Про це йдеться і доводиться у статті glmnet

— Метью Дрюрі

@MatthewDrury Дякую за те, що поділився цим! Однак цей документ, схоже, не поділяє те, що ви, начебто, пропонуєте зробити. Зокрема, зауважте, що мій є їх .

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

Ви впевнені, що нам потрібен тег [настройка-параметр]?

— амеба каже, що повернеться до Моніки

Ви маєте право, закрита форма для рішення ласо взагалі не існує (див. stats.stackexchange.com/questions/174003/… ). однак, lars принаймні повідомляє, що відбувається і за яких точних умов / у який час можна додати / видалити змінну. я думаю, що щось подібне - це найкраще, що ти можеш отримати.

— chRrr

@chRrr Я не впевнений, що це цілком справедливо сказати: ми знаємо, що для . Тобто, в крайньому випадку рішення, що дорівнює 0, ми маємо закриту форму. Я запитую, чи подібне вірно в крайньому випадку, коли оцінка ласо є щільною (тобто немає нулів). Дійсно, мене навіть не цікавлять точні записи --- просто вони нульові чи ні.

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

Оцінка ласо, описана у запитанні, є еквівалентом множника лагранжу в наступній задачі оптимізації:

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

Цей оптимізація має геометричне зображення пошуку точки дотику між багатовимірною сферою та політопом (що охоплюється векторами X). Поверхня політопа являє собою . Квадрат радіуса сфери представляє функцію і мінімізується при контакті поверхонь. $g(\beta)$ $f(\beta)$

На малюнках нижче наведено графічне пояснення. Зображення використовували наступну просту задачу з векторами довжиною 3 (для простоти, щоб можна було зробити креслення):

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$ і ми мінімізуємо з обмеженням

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

На зображеннях показано:

Червона поверхня зображує обмеження, багатогранник, що охоплюється X.
А зелена поверхня зображує мінімізовану поверхню, сферу.
Синя лінія показує шлях lasso, рішення, які ми знаходимо, змінюючи або . $t$ $\lambda$
Зелений вектор показує рішення OLS (який було обрано як або . $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
Три чорні вектори: , і . $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

Ми показуємо три зображення:

На першому зображенні лише точка політопа стосується сфери . Це зображення дуже добре демонструє, чому рішення ласо не є просто кратним рішенням OLS. Напрямок рішення OLS додає сильнішої суми . У цьому випадку лише один не дорівнює нулю. $\vert \beta \vert_1$ $\beta_i$
У другому зображенні хребет багатогранника торкається сфери (у більш високих розмірах ми отримуємо аналоги більш високих розмірів). У цьому випадку множина не дорівнює нулю. $\beta_i$
На третьому зображенні грань політопа торкається сфери . У цьому випадку всі є нульовими $\beta_i$ .

Діапазон або для якого ми маємо перший та третій випадки, можна легко обчислити завдяки їх простому геометричному зображенню. $t$ $\lambda$

Випадок 1: Лише одиничний не нульовий $\beta_i$

Ненульовий - це той, для якого асоційований вектор має найбільшу абсолютну величину коваріації з (це точка паралелетотопа, найближчого до рішення OLS). Ми можемо обчислити множник Lagrange нижче якого у нас є принаймні ненульовий , взявши похідну з (знак залежно від того, збільшуємо в негативному чи позитивному напрямку): $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

що призводить до

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

що дорівнює згаданому в коментарях. $\vert \vert X^Ty \vert \vert_\infty$

де слід зазначити, що це справедливо лише для особливого випадку, коли кінчик політопа торкається сфери ( тому це не є загальним рішенням , хоча узагальнення є прямим).

Випадок 3: Усі не нульові. $\beta_i$

У цьому випадку грань політопа торкається сфери. Тоді напрямок зміни шляху ласо є нормальним до поверхні конкретної грані.

Політоп має багато аспектів, з позитивним і негативним внеском . У випадку останнього етапу ласо, коли розчин ласо близький до розчину ols, тоді внески повинні визначатися знаком рішення OLS. Нормальність грані можна визначити, взявши градієнт функції , значення суми бета в точці , яке становить: $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

і еквівалентна зміна бета-версії для цього напрямку:

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

який після деяких алгебраїчних трюків зі зміщенням транспозитів ( ) і розподілом дужок стає $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

ми нормалізуємо цей напрямок:

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

Щоб знайти нижче якого всі коефіцієнти не дорівнюють нулю. Нам залишається лише обчислити назад від рішення OLS до точки, коли один із коефіцієнтів дорівнює нулю, $\lambda_{min}$

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

, і в цей момент ми оцінюємо похідну (як і раніше, коли обчислюємо ). Ми використовуємо, що для квадратичної функції маємо : $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

Зображення

точка політопа стосується сфери, одиничний не дорівнює нулю: $\beta_i$

хребет (або різняться в декількох вимірах) політопа торкається сфери, багато не нульові: $\beta_i$

грань політопа торкається сфери, всі не нульові: $\beta_i$

Приклад коду:

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

зауважте: останні три рядки є найважливішими

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

Автор StackExchangeStrike

— Секст Емпірік
джерело

Дякуємо, що включили правки! Поки в своєму читанні я застряг лише біля підрозділу "випадок 1". Результат для є неправильним, оскільки він не містить абсолютного значення або максимуму. Далі ми знаємо, що є помилка, оскільки у деривації є помилка ознаки, місце, де диференційованість помилково припускається, "довільний вибір" для диференціювання стосовно та неправильно оцінене похідне. Якщо чесно, то не один знак " ", який би був дійсним.

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

— користувач795305

Я виправив це зі знаком плюс мінус. Зміна бета-версії може бути позитивною чи негативною. Щодо максимального та "довільного вибору" ... ", для якого асоційований вектор має найбільшу коваріацію з " $x_i$ $\hat{y}$

— Секст Емпірік

Дякуємо за оновлення! Однак проблеми все ще є. Наприклад, оцінюється неправильно.

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

— користувач795305

Якщо то ця кореляція входить у рівняння, оскільки, якщо s = 0, то лише зміна дотичної до - це зміна довжини вектора

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | y - X β | |_{2}}{\partial β_{i}} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | y - s x_{i} | |_{2}}{\partial s} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 c o r (x_{i}, y) | | x_{i} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 x_{i} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

— Секст Емпірік

Ну добре, значить, у ваших аргументах є обмеження! (Ви використовуєте обидва , а коефіцієнт - ненульовий.) Крім того, друга рівність у рядку з вводить в оману, оскільки знак може змінитися через диференціювання абсолютного значення.

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

— користувач795305

Яка найменша яка дає 0 компонент у ласо?

Випадок 1: Лише одиничний не нульовийβiβi\beta_i

Випадок 3: Усі не нульові.βiβi\beta_i

Зображення

Приклад коду:

Випадок 1: Лише одиничний не нульовий $\beta_i$

Випадок 3: Усі не нульові. $\beta_i$