Доказ рівнозначних формул регресії хребта

Я читав найпопулярніші книги в статистичному навчанні

1- Елементи статистичного навчання.

2- Вступ до статистичного навчання .

Обидва згадують, що регресія хребта має дві формули, рівнозначні. Чи є зрозумілий математичний доказ цього результату?

Я також пройшов Cross Valified , але я не можу знайти певного доказу там.

Крім того, буде LASSO насолоджуватися тим же типом доказування?

Класична регресія хребта ( регуляризація Тихонова ) задана:

Наведене вище твердження полягає в тому, що наступна проблема рівнозначна:

Давайте визначимо е в якості оптимального вирішення першого завдання і ~ х в якості оптимального вирішення другого завдання.$\hat{x}$$\tilde{x}$

Заява про еквівалентність означає, що $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$ .
А саме у вас завжди може бути пара$t$ і$\lambda \geq 0$ таке рішення задачі те саме.

Як ми могли знайти пару?
Ну, вирішуючи задачі і дивлячись на властивості рішення.
Обидві проблеми є опуклими і гладкими, тому вони повинні спростити справи.

Рішення першої задачі задається в точці, коли градієнт зникає, що означає:

У KKT умови другого завдання станів:

і

Останнє рівняння говорить про те, що або $\mu = 0$ або ${\left\| \tilde{x} \right\|}_{2}^{2} = t$ .

Зверніть увагу, що 2 базові рівняння рівнозначні.
А саме , якщо х = ~ х і μ = λ обидва рівняння справедливі. $\hat{x} = \tilde{x}$$\mu = \lambda$

Отже, це означає, що у випадку ${\left\| y \right\|}_{2}^{2} \leq t$ треба встановити $\mu = 0$ що означає, що для $t$ достатньо великих розмірів для того, щоб обидва були еквівалентними, слід встановити $\lambda = 0$ .

В іншому випадку слід знайти $\mu$ де:

Це в основному, коли ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Як тільки ви виявите, що $\mu$ розчини зіткнуться.

Що стосується випадку ${L}_{1}$ (LASSO), то він працює з тією ж ідеєю.
Єдина відмінність полягає в тому, що ми не закрили для рішення, отже, похідне з'єднання складніше.

Подивіться на мою відповідь на підтвердженій контрольною програмою StackExchange $\lambda$Q291962 та обробці сигналу StackExchange Q21730 - Значення λ у Основному переслідуванні .

Зауваження
Що насправді відбувається?
В обох проблемах $x$ намагається бути максимально наближеним до $y$ .
У першому випадку $x = y$ зникне першого доданка ( відстань ${L}_{2}$ ), а у другому випадку зникне об'єктивна функція.
Різниця полягає в тому, що в першому випадку треба збалансувати ${L}_{2}$ Норму $x$ . Оскільки $\lambda$ стає вище, баланс означає, що ви повинні зробити $x$ меншим.
У другому випадку є стіна, ви наближаєте $x$ ближче і ближче до $y$поки ти не вдаришся про стіну, яка є обмеженням її норми (За $t$ ).
Якщо стіна достатньо далеко (Високе значення $t$ ) і достатньо залежить від норми $y$ то я не має жодного значення, як і $\lambda$ має значення лише його значення, помножене на норму $y$ починає мати значення.
Точний зв'язок - це Лагранжан, зазначений вище.

Ресурси

Я знайшов цей документ сьогодні (03.04.2019):

• Твердість наближення для класу задач з розрідженою оптимізацією .

Менш суворий математично, але, можливо, більш інтуїтивний підхід до розуміння того, що відбувається, - це почати з версії обмеження (рівняння 3.42 у питанні) та вирішити її, використовуючи методи "множника Лагранжа" ( https: //en.wikipedia .org / wiki / Lagrange_multiplier або улюблений багатовимірний текст числення). Пам'ятайте лише, що в обчисленні - вектор змінних, але в нашому випадку x є постійним, а β - змінним вектором. Після застосування технології множника Лагранжа ви закінчуєте перше рівняння (3.41) (після того, як викинете зайвий - λ t, який є постійним відносно мінімізації і може бути проігнорований).$x$$x$$\beta$$-\lambda t$

This also shows that this works for lasso and other constraints.

It's perhaps worth reading about Lagrangian duality and a broader relation (at times equivalence) between:

• optimization subject to hard (i.e. inviolable) constraints
• optimization with penalties for violating constraints.

Quick intro to weak duality and strong duality

Assume we have some function $f(x,y)$ of two variables. For any $\hat{x}$ and $\hat{y}$, we have:

Since that holds for any $\hat{x}$ and $\hat{y}$ it also holds that:

This is known as weak duality. In certain circumstances, you have also have strong duality (also known as the saddle point property):

When strong duality holds, solving the dual problem also solves the primal problem. They're in a sense the same problem!

Lagrangian for constrained Ridge Regression

Let me define the function $\mathcal{L}$ as:

The min-max interpretation of the Lagrangian

The Ridge regression problem subject to hard constraints is:

You pick $\mathbf{b}$ to minimize the objective, cognizant that after $\mathbf{b}$ is picked, your opponent will set $\lambda$ to infinity if you chose $\mathbf{b}$ such that $\sum_{j=1}^p b_j^2 > t$.

If strong duality holds (which it does here because Slater's condition is satisfied for $t>0$), you then achieve the same result by reversing the order:

Here, your opponent chooses $\lambda$ first! You then choose $\mathbf{b}$ to minimize the objective, already knowing their choice of $\lambda$. The $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ part (taken $\lambda$ as given) is equivalent to the 2nd form of your Ridge Regression problem.

As you can see, this isn't a result particular to Ridge regression. It is a broader concept.

References

(I started this post following an exposition I read from Rockafellar.)

Rockafellar, R.T., Convex Analysis

You might also examine lectures 7 and lecture 8 from Prof. Stephen Boyd's course on convex optimization.

They are not equivalent.

For a constrained minimization problem

we solve by minimize over $\mathbf b$ the corresponding Lagrangean

Here, $t$ is a bound given exogenously, $\lambda \geq 0$ is a Karush-Kuhn-Tucker non-negative multiplier, and both the beta vector and $\lambda$ are to be determined optimally through the minimization procedure given $t$.

Comparing $(2)$ and eq $(3.41)$ in the OP's post, it appears that the Ridge estimator can be obtained as the solution to

Since in $(3)$ the function to be minimized appears to be the Lagrangean of the constrained minimization problem plus a term that does not involve $\mathbf b$, it would appear that indeed the two approaches are equivalent...

But this is not correct because in the Ridge regression we minimize over $\mathbf b$ given $\lambda >0$. But, in the lens of the constrained minimization problem, assuming $\lambda >0$ imposes the condition that the constraint is binding, i.e that

The general constrained minimization problem allows for $\lambda = 0$ also, and essentially it is a formulation that includes as special cases the basic least-squares estimator ($\lambda ^*=0$) and the Ridge estimator ($\lambda^* >0$).

So the two formulation are not equivalent. Nevertheless, Matthew Gunn's post shows in another and very intuitive way how the two are very closely connected. But duality is not equivalence.