ККТ проти необмеженої постановки регресії ласо

L1 пеналізована регресія (aka lasso) представлена у двох складах. Нехай обидві цілі функції

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$ Тоді два різних рецептури -

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$ умови

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$ і, що еквівалентно

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$ Використовуючи умови Каруша-Куна-Таккера (KKT), легко зрозуміти, наскільки умова стаціонарності для першої рецептури еквівалентна прийняттю градієнта другого складу та встановленню його рівним 0. Що я не можу знайти, ані зрозуміти. , як гарантується, що умова комплементарної млявості для першого складу

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ буде виконана розчином другого складу.

regression lasso penalized

— годепічний
джерело

Відповіді:

Дві рецептури еквівалентні в тому сенсі, що для кожного значення у першій рецептурі існує значення для другого складу таким чином, що обидві рецептури мають однаковий мінімізатор . $t$ $\lambda$ $\beta$

Ось виправдання:

Розглянемо рецептуру ласо: Нехай мінімалізатор будеа. Моє твердження полягає в тому, що якщо ви встановитев першій рецептурі, тоді рішення першої рецептури також буде. Ось доказ:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

Розглянемо першу рецептуру Якщо можливонехай ця друга композиція має рішення такимщо(відзначте строго менше знака). Тоді легко бачитищо

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

суперечить тому, що

є рішенням для ласо. Таким чином, рішення першого складу також є

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

Оскільки , то умова додаткової в'ялості виконується в точці розчину . $t=b$ $\beta^*$

Отже, задавши формулу ласо з , ви побудуєте обмежену формулу, використовуючи дорівнює значенню норми розчину ласо. І навпаки, з урахуванням обмеженої рецептури з , ви знайдете таким, що розчин ласо буде рівним розчину обмеженої рецептури. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Якщо ви знаєте про субградієнти, ви можете знайти це , розв’язавши рівняння , де $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— елексобі
джерело

Відмінно. Щойно ви бачите рішення, ви завжди почуваєтесь німими за те, щоб не потрапити туди самостійно. Я припускаю , що ви маєте в виду, в пошуку протиріччя, припустимо , що ми знаходимо

такі , що

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

Вважайте відповідь прапором правильною

— bdeonovic

Ви можете уточнити , чому

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

Це доводить, що рішення першої рецептури також повинно мати l1-норму b. Як можна довести, що два рішення дійсно однакові?

— broncoAbierto

Крім того, Лассо не завжди має єдине рішення, тому ми не можемо посилатися на на Мінімайзер. arxiv.org/pdf/1206.0313.pdf . Ми могли б, однак, відносяться до набору Мінімайзер і показати , що деякі

повинні належати до цього набору.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

Я думаю, що ідея elexhobby для цього доказу є вдалою, але я не думаю, що це абсолютно коректно.

Показавши , що існування рішення для першого , такі , що призводить до протиріччя, ми можемо тільки припускати необхідність, не те . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

Я пропоную замість цього зробити наступне:

Для зручності позначимо через та першу та другу формули відповідно. Припустимо, що має унікальне рішення, , з . Нехай має рішення, . Тоді ми маємо, що(вона не може бути більшою через обмеження) і тому . Якщо то не є рішенням , що суперечить нашим припущенням. Якщо $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ тоді , оскільки ми вважали, що рішення є унікальним. $\hat{\beta} = \beta^*$

Однак, можливо, у Лассо є кілька рішень. З леми 1 arxiv.org/pdf/1206.0313.pdf ми знаємо, що всі ці рішення мають однаковий -норм (і, звичайно, однакове мінімальне значення). Ми встановили цю норму як обмеження для і продовжуємо. $\ell 1$ $P_1$

Позначимо через безліч рішень , з . Нехай є рішення, . Тоді ми маємо, що і , отже . Якщо для деяких (а значить, і для всіх), то , що суперечить нашим припущенням. Якщо для деяких то не є набором рішень для $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ . Отже, кожен розчин знаходиться в , тобто будь-який розчин також є розчином для . Залишається довести, що взаємодоповнювальне значення теж є. $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
джерело