Як застосувати метод ітеративно завищених найменших квадратів (IRLS) до моделі LASSO?

12

Я запрограмував логістичну регресію за допомогою алгоритму IRLS . Я хотів би застосувати санкцію LASSO для автоматичного вибору потрібних функцій. При кожній ітерації вирішується наступне:

(X^{T} W X) δ \hat{β} = X^{T} (y - p)

$\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)}$

Нехай - невід'ємне дійсне число. Я не караю перехоплення, як пропонується в "Елементах". Статистичне навчання . Дітто для вже нульових коефіцієнтів. В іншому випадку я віднімаю термін з правого боку: $\lambda$

X^{T} (y - p) - λ \times s i g n (\hat{β})

$\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)}$

Однак я не впевнений у зміні алгоритму IRLS. Це правильний шлях?

Редагувати: Хоча я не був у цьому впевнений, ось одне з рішень, яке я нарешті придумав. Що цікаво, це рішення відповідає тому, що я зараз розумію про LASSO. На кожному етапі дійсно два кроки замість одного:

перший крок такий же, як і раніше: робимо ітерацію алгоритму (як би у формулі для градієнта вище), $\lambda=0$
другий крок - новий: ми застосовуємо м'який поріг до кожного компонента (за винятком компонента , який відповідає перехопленню) вектора отриманого на першому кроці. Це називається Ітераційним алгоритмом м'якого порогу . $\beta_0$ $\beta$

\forall i \geq 1, β_{i} \leftarrow s i g n (β_{i}) \times max (0, | β_{i} | - λ)

$\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)$

— Вок
джерело

Ще не вдалося досягти кращої конвергенції шляхом адаптації IRLS. : '(

— Вок

12

Зазвичай ця проблема вирішується пристосуванням шляхом координатного спуску ( див. Тут ). Цей спосіб є безпечнішим і більш ефективним чисельним, алгоритмічно простішим у застосуванні та застосовно до більш загального масиву моделей (включаючи регресію Кокса). Реалізація R доступний в R пакет glmnet . Коди є відкритим кодом (частково в і на C, частково в R), тому ви можете використовувати їх як креслення.

— user603
джерело

@wok Зверніть увагу, пакет scikit.learn також пропонує ефективну реалізацію в Python для подібних матеріалів.

— chl

Алгоритм спуску координат цікавий. Дякую. Ще про це думаю.

— Вок

5

Функція втрат LASSO має розрив на нулі вздовж кожної осі, тому IRLS матиме з цим проблеми. Я знайшов підхід типу мінімальної оптимізації (SMO) дуже ефективним, див

http://bioinformatics.oxfordjournals.org/content/19/17/2246

версія з програмним забезпеченням MATLAB є

http://bioinformatics.oxfordjournals.org/content/22/19/2348

програмне забезпечення доступне тут:

http://theoval.cmp.uea.ac.uk/~gcc/cbl/blogreg/

Основна ідея полягає в оптимізації коефіцієнтів по одному, і перевірити, чи перетинаєте ви один раз коефіцієнт розриву, що легко, оскільки ви здійснюєте скалярну оптимізацію. Це може звучати повільно, але насправді це досить ефективно (хоча, я думаю, що з цього часу були розроблені кращі алгоритми - ймовірно, Керті чи Чі-Джен Лін, які обидва є провідними фахівцями в цій справі).

— Дікран Марсупіал
джерело

Дякую. Я читаю це і думаю про це. Однак це була б величезна модифікація поточного алгоритму.

— Вок

4

Ви можете перевірити статтю: Ефективна L1-регульована логістична регресія, що є алгоритмом LASSO на основі IRLS. Щодо реалізації, то посилання може бути корисним для вас (http://ai.stanford.edu/~silee/softwares/irlslars.htm).

0

IRLS для проблеми LASSO є наступним:

\arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ {‖ x ‖}_{1} = \arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ x^{T} W x

$\arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda \left\| x \right\|_{1} = \arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda {x}^{T} W {x}$

Де - діагональна матриця - . Це походить від . $W$ ${W}_{i, i} = \frac{1}{ \left| {x}_{i} \right| }$
$\left\| x \right\|_{1} = \sum_{i} \left| {x}_{i} \right| = \sum_{i} \frac{ {x}_{i}^{2} } { \left| {x}_{i} \right| }$

Тепер вищезазначене - це лише регуляризація Тихонова .
Тим не менш, оскільки залежить від його слід ітераційно вирішувати (також це скасовує 2 коефіцієнт у регуляризації Тихонова, оскільки похідна щодо , утримуючи як постійне, що дорівнює ): $W$ $x$ ${x}^{T} W x$ $x$ $x$ $\operatorname{diag} \left( \operatorname{sign} \left( x \right) \right)$ $W x$

x^{k + 1} = {(A^{T} A + λ W^{k})}^{- 1} A^{T} b

${x}^{k + 1} = \left( {A}^{T} A + \lambda {W}^{k} \right)^{-1} {A}^{T} b$

Де . ${W}_{i, i}^{K} = \frac{1}{ \left| {x}^{k}_{i} \right| }$

Ініціалізація може бути від . $W = I$

Зверніть увагу, що це не працює добре для великих значень і вам краще використовувати ADMM або Coordinate Descent. $\lambda$

— Рой
джерело