Вибір діапазону та щільності сітки для параметра регуляризації в LASSO

Я зараз вивчаю LASSO (найменш абсолютний оператор усадки та відбору). Я бачу, що оптимальне значення параметра регуляризації можна вибрати шляхом перехресної перевірки. Я бачу також у регресії хребта та багатьох методах, які застосовують регуляризацію, ми можемо використовувати CV для того, щоб знайти оптимальний параметр регуляризації (кажучи, штраф). Тепер моє запитання стосується початкових значень верхньої та нижньої межі параметра та того, як визначити довжину послідовності.

Для конкретності, припустимо, у нас є проблема LASSO і ми хочемо знайти оптимальне значення для штрафу . Тоді як ми можемо вибрати нижню та верхню межі для ? і скільки розщеплення між цими двома значеннями ?

L o g L i k e l i h o o d = (y - x β)^{'} (y - x β) + λ \sum | β |_{1}

$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$

λ

$\lambda$

λ \in [a = ?, b = ?]

$\lambda \in [a=?,b=?]$

\frac{(b - a)}{k = ?}

$\frac{(b-a)}{k=?}$

lasso regularization shrinkage

— TPArrow
джерело

Пов'язані питання тут .

— Річард Харді

Можливий дублікат тонкості та обрешітки сітки з використанням регуляризації (LASSO, хребет, еластична сітка)

— Sycorax каже Reinstate Monica

Ця методологія описана в статті glmnet Шляхи регуляризації узагальнених лінійних моделей через координатний спуск . Хоча методологія тут стосується загального випадку регуляризації і , вона повинна застосовуватися і до LASSO (лише ). $L^1$ $L^2$ $L^1$

Рішення для максимуму наведено у розділі 2.5. $\lambda$

Коли , з (5) бачимо, що залишиться нульовим, якщо . Звідси $\tilde\beta = 0$ $\tilde\beta_j$ $\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$ $N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

Тобто ми спостерігаємо, що правило оновлення для бета-версії змушує всі оцінки параметрів до нуля для як визначено вище. $\lambda > \lambda_{max}$

Визначення та кількості точок сітки здається менш принциповим. У glmnet вони встановлюють , а потім вибирають сітку з однаково розташованих точок за логарифмічною шкалою. $\lambda_{min}$ $\lambda_{min} = 0.001 * \lambda_{max}$ $100$

Це добре працює на практиці, при моєму широкому використанні glmnet я ніколи не вважав, що ця сітка є занадто грубою.

У LASSO ( ) лише кращі речі працюють краще, оскільки метод LARS забезпечує точний розрахунок того, коли в модель увійдуть різні предиктори. Справжній LARS не здійснює пошук по сітці через , а створює точне вираження для шляхів рішення для коефіцієнтів. Ось докладний погляд на точний розрахунок шляхів коефіцієнта у випадку двох прогнозів. $L^1$ $\lambda$

Справа для нелінійних моделей (тобто логістичних, пуассонових) складніше. На високому рівні спочатку отримується квадратичне наближення до функції втрат за початковими параметрами , а потім обчислення вище використовується для визначення . Точний розрахунок шляхів параметрів неможливий у цих випадках, навіть якщо передбачено лише регуляризацію , тому пошук в сітці є єдиним варіантом. $\beta = 0$ $\lambda_{max}$ $L^1$

Зразок ваги також ускладнює ситуацію, внутрішні вироби необхідно замінити у відповідних місцях зваженими внутрішніми виробами.

— Метью Друрі
джерело