Показано еквівалентність між нормалізованою регресією регрес та нормально обмеженою регресією за допомогою KKT

Відповідно до посилань Книга 1 , Книга 2 та папір .

Було зазначено, що існує рівнозначність між регульованою регресією (Ridge, LASSO та Elastic Net) та їх формулами обмеження.

Я також переглянув Cross Valified 1 та Cross Validated 2 , але я не можу побачити чітку відповідь, що свідчить про еквівалентність або логічність.

Моє запитання

Як показати цю еквівалентність за допомогою Каруша – Куна – Таккера (KKT)?

Наступні формули стосуються регресії Рейда.

ПРИМІТКА

Це питання не є домашнім завданням. Це лише посилити моє розуміння цієї теми.

ОНОВЛЕННЯ

Я ще не маю ідеї.

— Джеза
джерело

Для чого вам потрібно більше 1 відповіді? З'являється поточна відповідь, щоб всебічно вирішити питання. Якщо ви хочете дізнатися більше про методи оптимізації, оптимізація Convex Lieven Vandenberghe та Stephen P. Boyd - це гарне місце для початку.

— Sycorax повідомляє про відновлення Моніки

@Sycorax, дякую за ваші коментарі та книгу, яку ви мені надаєте. Відповідь для мене не така однозначна, і я не можу просити більше роз'яснень. Таким чином, більш ніж одна відповідь може дати мені бачити іншу точку зору та спосіб опису.

— jeza

@jeza, чого не вистачає у моїй відповіді?

— Рой

Будь ласка, введіть своє запитання як текст, а не публікуйте лише фотографію (див. Тут ).

— gung - Відновіть Моніку

Відповіді:

Більш технічна відповідь полягає в тому, що обмежену проблему оптимізації можна записати через множники Лагранжа. Зокрема, Lagrangian, пов'язаний із проблемою обмеженої оптимізації, задається де - множник, вибраний для задоволення обмежень проблеми. Умови першого замовлення (які є достатніми, оскільки ви працюєте з хорошими правильними опуклими функціями) для цієї проблеми оптимізації, таким чином, можна отримати, диференціювавши Лагранжана відносно

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ та встановлення похідних рівним 0 (це трохи більш нюансовано, оскільки частина LASSO має недиференційовані точки, але є методи з опуклого аналізу, щоб узагальнити похідну, щоб умова першого порядку все ще працювала). Зрозуміло, що ці умови першого порядку ідентичні умовам першого порядку тієї невпинної проблеми, яку ви записали.

Однак я вважаю, що корисно зрозуміти, чому загалом із цими проблемами оптимізації часто можна думати про проблему або через об'єктив обмеженої проблеми оптимізації, або через об'єктив нестримної проблеми. Більш конкретно, припустимо, у нас є необмежена проблема оптимізації такої форми: Ми завжди можемо спробувати вирішити цю оптимізацію безпосередньо, але іноді може бути сенс розбити цю проблему на підкомпоненти. Зокрема, не важко помітити, що Отже, для фіксованого значення

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (і припускаючи, що функції для оптимізації фактично досягають своєї оптимізації), ми можемо пов’язати з ним значення яке вирішує задачу зовнішньої оптимізації. Це дає нам своєрідне відображення від необмежених проблем оптимізації до обмежених проблем. У вашій конкретній обстановці, оскільки все гарно поводиться за еластичну регресію сітки, це відображення насправді повинно бути одне до одного, тому корисним буде можливість перемикатися між цими двома контекстами залежно від того, який корисніший для конкретної програми. Взагалі, цей взаємозв'язок між обмеженими та необмеженими проблемами може бути менш сприятливим, але все ж може бути корисним подумати над тим, якою мірою ви можете рухатись між обмеженою та необмеженою проблемою.

t^{*}

$t^*$

Редагувати: Як вимагається, я включу більш конкретний аналіз регресії хребта, оскільки він фіксує основні ідеї, уникаючи того, щоб мати справу з технічними особливостями, пов’язаними з нерівнозначністю штрафу LASSO. Нагадаємо, ми вирішуємо задачу оптимізації (у матриці):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Нехай - рішення OLS (тобто коли немає обмежень). Тоді я зупинюсь на тому випадку, коли(за умови, що це існує), оскільки в іншому випадку обмеження є нецікавим, оскільки воно не пов'язує. Лагранжан для цієї проблеми може бути записаний Потім диференціюючи , отримуємо умови першого порядку: що є просто системою лінійних рівнянь, і тому можна вирішити: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ для вибору множника . Потім множник просто вибирається, щоб зробити обмеження справжнім, тобто нам це потрібно

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ яке існує, оскільки LHS є монотонним в . Це рівняння дає явне відображення від множників до обмежень, з коли RHS існує і Це відображення насправді відповідає чомусь досить інтуїтивно зрозумілому. Теорема конверт говорить про те , що

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ відповідаю граничного зменшення похибки ми отримуємо від невеликої релаксації обмежень . Це пояснює, чому коли відповідає. Після того як обмеження не є обов'язковим, його розслаблення вже не має значення, саме тому множник зникає.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
джерело

чи можете ви надати нам детальну відповідь, крок за кроком, з практичним прикладом, якщо це можливо.

— jeza

велике спасибі, чому ви не згадуєте KKT? Я не знайомий з цією областю, тому ставляться до мене як до старшокласника.

— jeza

Умови ККТ у цьому випадку є узагальненням умов «першого порядку», які я згадую, диференціюючи Лагранжана та встановлюючи похідну рівній 0. Оскільки в цьому прикладі обмеження мають рівність, нам умови ККТ не потрібні повний загалом. У більш складних випадках все, що трапляється, полягає в тому, що деякі з наведених вище рівностей перетворюються на нерівності, а множник стає 0, оскільки обмеження стають не обов'язковими. Наприклад, саме це відбувається, колиу вищесказаному.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

Існує чудовий аналіз stats_model у його відповіді .

Я спробував відповісти на подібне запитання в доказі еквівалентних формул хребтової регресії .

Я буду більше підходити до цієї справи.
Спробуємо побачити відображення між та у двох моделях. $t$ $\lambda$

Як я писав і видно з stats_model в його аналізі, відображення залежить від даних. Отже, ми обрали конкретну реалізацію проблеми. І все ж код та замальовка рішення додадуть інтуїції тому, що відбувається.

Ми порівняємо наступні 2 моделі:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Припустимо, що є рішенням регульованої моделі і є рішенням обмеженої моделі. $\hat{x}$ $\tilde{x}$

Ми дивимося на відображення від до таким чином, що . Дивлячись на моє рішення в Solver для Norm Constraint найменших квадратів можна було бачити , що рішення обмежених Модель передбачає вирішення регуляризоване моделі і знайти , який відповідає (Фактичний код представлений в найменших квадратів з евклідової ( ) обмеження норми ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Отже, ми запустимо один і той же розв'язувач і для кожного будемо відображати оптимальне . $t$ $\lambda$

Розчинник в основному вирішує:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

Отже ось наша Матриця:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

І ось наш вектор:

Це відображення:

Як видно вище, для досить високого значення параметр як очікувалося. $t$ $\lambda = 0$

Масштабування до діапазону [0, 10]:

Повний код доступний у моєму перевіреному StackExchange Cross Valified Q401212 GitHub Repository .

— Рой
джерело