Інтуїція до ступенів свободи LASSO

Zou та ін. "Про" ступені свободи "ласо" (2007) показують, що кількість ненульових коефіцієнтів є неупередженою і послідовною оцінкою ступенів свободи ласо.

Мені це здається трохи протизаконним.

Припустимо, ми маємо регресійну модель (де значення змінних дорівнюють нулю)

y = β x + ε .

$y=\beta x + \varepsilon.$

Припустимо, необмежена оцінка OLS становить . Це може приблизно збігатися з оцінкою LASSO для дуже низької інтенсивності штрафу. $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Припустимо також, що оцінка LASSO для певної інтенсивності штрафу є . Наприклад, може бути "оптимальним" для набору даних, знайдених за допомогою перехресної перевірки. $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Якщо я правильно розумію, в обох випадках ступінь свободи дорівнює 1, оскільки обидва рази є один ненульовий коефіцієнт регресії.

Питання:

Чому ступеня свободи в обох випадках однакова, навіть якщо припускає менше "свободи" в примірці, ніж ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Список літератури:

Зу, Хуй, Тревор Хасті та Роберт Тібшірані. "Про" ступеня свободи "ласо." Аналіз статистики 35.5 (2007): 2173-2192.

— Річард Харді
джерело

велике запитання, що заслуговувало б на більшу увагу!

— Матифу

Припустимо, нам дано набір -вимірних спостережень, , . Припустимо модель форми: where , , і що позначає внутрішній продукт. Нехай є оцінкою використовуючи придатний метод (або OLS, або LASSO для наших цілей). Формула ступенів свободи, наведена у статті (рівняння 1.2), така: $n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Перевіряючи цю формулу, можна припустити, що відповідно до вашої інтуїції справжній DOF для LASSO дійсно буде меншим, ніж справжній DOF з OLS; коефіцієнт усадки, здійснений LASSO, повинен мати тенденцію до зниження коваріацій.

Тепер, щоб відповісти на ваше запитання, причина того, що DOF для LASSO є такою ж, як DOF для OLS у вашому прикладі, полягає лише в тому, що ви маєте справу з оцінками (хоча і неупередженими), отриманими з конкретного набору даних, відібраного з моделі. справжніх значень DOF. Для будь-якого конкретного набору даних така оцінка не буде дорівнювати істинному значенню (тим більше, що оцінка повинна бути цілим числом, тоді як справжнє значення в цілому є реальним числом).

Однак, коли такі оцінки усереднюються за багатьма наборами даних, відібраними з моделі, за неупередженості та закону великих чисел така середня величина буде сходити до справжнього DOF. У випадку LASSO деякі з цих наборів даних приводять до оцінки, де коефіцієнт насправді дорівнює 0 (хоча такі набори даних можуть бути рідкісними, якщо невеликий). У випадку з OLS оцінка DOF - це завжди кількість коефіцієнтів, а не кількість ненульових коефіцієнтів, і тому середнє значення для випадку OLS не містить цих нулів. Це показує, як оцінювачі відрізняються, і як середній оцінювач для LASSO DOF може сходитися до чогось меншого, ніж середній оцінювач для OLS DOF. $\lambda$

— e2crawfo
джерело

Дякую за виправлення моїх помилок та неточних формулювань. Дозвольте мені побачити, чи я вас добре зрозумів. По суті, якби ми повторювали експеримент багато разів (або вибирали багато разів з однієї сукупності), ми періодично отримували б (коефіцієнт зменшився б до нуля) і в середньому (через експерименти) я отримав би DoF для LASSO тоді як DoF для OLS (очевидно).

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

— Річард Харді

До речі, чому для оцінки ступеня свободи потрібно бути цілим? Це справді? Дозвольте також зауважити, що внутрішні позначення продукту видаються надмірно складними і їх рідко використовують на цьому веб-сайті; матричного позначення буде достатньо. Але це ваш вибір, звичайно.

— Річард Харді

Так, про підсумки. Оцінка ступенів свободи має бути цілим числом для LASSO (принаймні, для одного набору даних) лише тому, що оцінка - кількість ненульових коефіцієнтів.

— e2crawfo

Твердження Оцінка ступенів свободи має бути цілим числом для LASSO лише тому, що оцінка - кількість ненульових коефіцієнтів, здається мені дуже тавтологічною. Взагалі, я не думаю, що df має бути цілим, із самого визначення df, яке ви написали. Аналогічно, у випадку хребта він не обов'язково дорівнює нулю.

— Матифу