Релаксація Лагрангія в умовах регресії хребта

У статті "Елементи статистичного навчання" (2-е видання), с. 63, автори дають наступні дві постановки проблеми регресії хребта:

$$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\}$$

і

$$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, subject to } \sum_{j=1}^p \beta_j^2 \leq t.$$

$\lambda$$t$

Здавалося б, перша рецептура - це релаксація Лагрангія другого. Однак я ніколи не мав інтуїтивного розуміння того, як або чому працюють релаксації Лагрангія.

Чи є простий спосіб продемонструвати, що ці дві форми дійсно рівнозначні? Якщо мені доведеться вибирати, я віддаю перевагу інтуїції над строгістю.

Спасибі.

Листування можна найпростіше показати за допомогою теореми конвертів .

По-перше, стандартний лагранжанин матиме додатковий $\lambda \cdot t$термін. Це не вплине на проблему максимізації, якщо ми просто лікуємося$\lambda$ як дано, так Hastie та ін.

Тепер, якщо ви розмежуєте повного лагранжанина щодо $t$, теорема конверта говорить, що ви можете ігнорувати непрямі наслідки $t$ наскрізь $\beta$, бо ти максимум. Що вам залишиться - це мультиплікатор Lagrange від$\lambda \cdot t$.

Але що це означає інтуїтивно? Оскільки обмеження пов'язується на максимумі, похідна лагранжана, оцінена за максимумом, є такою ж, як і деривація вихідної мети. Тому множник Лагранжа дає тіньову ціну - значення з точки зору цілі - розслаблення обмежень за рахунок збільшення$t$.

Я припускаю, що це листування Hastie та ін. посилаються на.