Який зв’язок між регуляризацією та методом множників лагранжу?

Для запобігання перевитрати людей люди додають термін регуляризації (пропорційний площі суми параметрів моделі) з параметром регуляризації до функції витрат лінійної регресії. Чи цей параметр збігається з множником лагранжу? Тож чи регуляризація така ж, як метод множника лагранжу? Або як пов’язані ці методи? $\lambda$$\lambda$

Скажімо, ми оптимізуємо модель з параметрами $\vec{\theta}$ , мінімізуючи деякий критерій $f(\vec{\theta})$ з обмеженням на величину вектора параметрів (наприклад, для реалізації структурного підходу до мінімізації ризиків шляхом побудувавши вкладений набір моделей зростаючої складності), нам знадобиться вирішити:

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Лагранжан для цієї проблеми є (застереження: я думаю, це був довгий день ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Тому легко можна побачити, що регульована функція витрат тісно пов'язана з обмеженою задачею оптимізації, при цьому параметр регуляризації пов'язаний з постійною регулюючою обмеженням ( ) і по суті є множником Лагранжа. $\lambda$$C$

Це ілюструє, чому, наприклад, регресія хребта реалізує структурну мінімізацію ризику: регуляризація еквівалентна обмеження на величину вагового вектора, а якщо то будь-яка модель, яка може бути зроблена, підкоряючись обмеженню,$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

також будуть доступні в рамках обмеження

$\|\vec{\theta}\|^2 < C_1$ .

Отже, зменшення створює послідовність просторів гіпотез, що збільшують складність.$\lambda$