Зв'язок LASSO між

Я розумію, що регресія LASSO полягає в тому, що коефіцієнти регресії вибираються для вирішення проблеми мінімізації:

$$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$$

На практиці це робиться за допомогою множника Лагранжа, що дозволяє вирішити проблему

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$$

Який взаємозв'язок між $\lambda$ та $t$ ? Вікіпедія безпомилково стверджує, що це "залежно від даних".

Чому мені все одно? По-перше, на інтелектуальну цікавість. Але мене також турбують наслідки для вибору $\lambda$ шляхом перехресної перевірки.

Зокрема, якщо я роблю поперечну перехресну перевірку, я підключаю n різних моделей до n різних розділів моїх навчальних даних. Потім я порівнюю точність кожної з моделей за невикористаними даними для заданої $\lambda$ . Але те саме $\lambda$ передбачає різне обмеження ( $t$ ) для різних підмножин даних (тобто, $t=f(\lambda)$ є "залежними від даних").

Чи не є проблемою перехресної перевірки, яку я насправді хочу вирішити, щоб знайти $t$ який дає найкращі компромісні точності?

Я можу отримати приблизне уявлення про розмір цього ефекту на практиці, обчисливши для кожного перехресної валідації і і переглянувши отриманий розподіл. У деяких випадках мається на увазі обмеження ( ) може значно відрізнятися від моїх підмножин перехресної перевірки. Де по суті я маю на увазі коефіцієнт варіації .$\|\beta\|_1$т т > > $\lambda$$t$$t>>0$

Це стандартне рішення для регресії хребта :

$$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$$

Ми також знаємо, що , тому це має бути правдою$\| \beta \| = t$

$$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$$ .

що непросто вирішити для .$\lambda$

Ваша найкраща ставка - просто продовжувати робити те, що ви робите: обчислюйте на одній підвідбірці даних для кількох значень .$t$$\lambda$