Квадратичне програмування та Лассо

Я намагаюся виконати регресію ласо, яка має таку форму:

Мінімізуйте в $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

З огляду на , мені порадили знайти оптимальне за допомогою квадратичного програмування, яке приймає таку форму: $\lambda$ $w$

Мінімізуйте in , відповідно до $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

Тепер я усвідомлюю, що термін повинен бути перетворений в обмежувальний термін , який досить прямолінійний. Однак я якось просто не бачу, як я міг би перенести перший додаток першого рівняння в перший додаток другого. Я не зміг знайти багато про це в мережі, тому вирішив попросити тут. $\lambda$ $Ax \le b$

regression lasso quadratic-form

— шпора
джерело

Відповіді:

Маючи на увазі, що ми працюємо зі як змінною ' ' у стандартній формі, розгорніть і збирайте терміни в і в і , і константи. $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Поясніть, чому ви можете ігнорувати константи.

Поясніть, чому ви можете комбінувати терміни і . $w'$ $w$

Оскільки BananaCode вже розібрався з деякими ведучими по шляху, ви можете написати і або простіше, ви можете просто написати і (оскільки і мають однаковий аргмін для будь-якого ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Встановити Моніку
джерело

Константи можна ігнорувати, тому що якщо x_ є мінімальним f (x), то x_ + c - мінімум f (x) + c, отже, ми можемо ігнорувати постійну c. Я відредагую своє запитання, щоб показати, де я застряг.

— шпора

BananaCode ваше пояснення має кілька недоліків. Якщо під "є мінімум до " ви маєте на увазі "аргумент, при якому мінімізований", ви говорите щось на кшталт " є of ". Але ваш висновок там неправильний. Якщо ви додасте до , ви не додасте до аргміна.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Встановити Моніку

Подивіться, де я написав у своїй відповіді? Що - то тепер у вас є між а в нижній частині вашого питання ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Встановити Моніку

Так, я мав в виду є з . Чи можете ви навести приклад, коли мій висновок невірний? є матриці Я намагаюся сформувати. Якщо я я отримую . Перша частина буде представляти собою форму матриці , проте я не можу позбутися другого члена .

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— шпора

@ AD.Net Обмеження в основному охоплені в іншій відповіді.

— Glen_b -Встановіть Моніку

Я хотів додати, як вирішити перетворення обмежень у використаній формі для квадратичного програмування, оскільки це не так просто, як я думав. Неможливо знайти справжню матрицю таку, що . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

Я використовував підхід, щоб розділити елементи вектора на і , так що . Якщо , у вас є і , інакше у васі . Або, більш математично, іІ і - це негативні числа. Ідея розподілу чисел вгору полягає в тому, що тепер у вас є $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ , ефективно позбувшись абсолютних значень.

Функція оптимізації перетворюється на: , предмет до $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Де і задані, як зазначено вище Glen_b $Q$ $c$

Це потрібно перетворити на зручну форму, тобто нам потрібен один вектор. Це робиться наступним чином:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

на тему

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Де - одинична матриця, - -вимірний вектор, що складається лише зі значення і a -вимірний нульовий вектор. Перша половина забезпечує , другий Тепер це у використаній формі використовувати квадратичне програмування для пошуку і , заданих . Після цього ваш оптимальний параметр відносно - . $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Джерело та подальше читання: Розв’язування задачі квадратичного програмування лінійними обмеженнями, що містять абсолютні значення

— шпора
джерело

Припустимо, що ми знайшли оптимальний розмірний вектор . Що забезпечує, що і насправді позитивні частини та негативні частини деякого вектора , тобто їх вхідних позицій збігаються?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

Матриця і вектор в остаточному вираженні можуть бути більш простими, а насправді більш правильними. Замість [Id Id] [w + w−] '≤ Sd ви можете просто поставити [1 1 .... 1] [w + w-]' ≤ s. Це буквально еквівалентно ∑ | wi | = ∑ (wi + + wi−) ≤ s.

— Марко