Як здійснити регуляризацію L2 до довільної точки в просторі?

11

Ось, що я читав у книзі Ієна Гудфеллоу « Глибоке навчання» .

У контексті нейронних мереж "штраф норми параметра L2 зазвичай називають зменшенням ваги. Ця стратегія регуляризації приводить ваги ближче до початку [...]. Більш загально, ми могли б регулювати параметри, щоб бути поблизу будь-якої конкретної точки в просторі ", але набагато частіше регуляризувати параметри моделі до нуля. (Глибоке навчання, Goodfellow та ін.)

Мені просто цікаво. Я розумію, що просто додавши термін регуляризації до нашої функції витрат і що, мінімізуючи цю загальну вартість ми можемо вплинути на параметри моделі, щоб вони залишилися невеликими: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

Але як би реалізувати версію цієї стратегії регуляризації, яка б привела параметри до будь-якої довільної точки? (скажімо, ми хочемо, щоб норма тяжіла до 5)

— Джулеп
джерело

14

Ви насправді задаєте два різні питання.

Якщо норма має тенденцію до 5, то це означає, що ви хочете, щоб ваги знаходилися біля поверхні гіперсфери, зосередженої на джерелі з радіусом 5. Це регуляризація виглядає приблизно як

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

Але ви можете замість цього використати щось на кшталт $\lambda \cdot\text{abs}(||w||_2^2-5)$ .

З іншого боку, якщо ви хочете прагнути до довільної точки, вам просто потрібно використовувати цю точку як центр $c$ .

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax каже, що відновіть Моніку
джерело

(+1) Я думаю, що плідним способом подумати про "норму, що має тенденцію до п'яти" може бути через вибір параметра настроювання у версії заданої ОП (а не зміною функції)

J

$J$

— user795305

(Я написав коротку відповідь, щоб уточнити, що я маю на увазі вище. Дякую, до речі, за уточнення відмінності двох заданих питань!)

— user795305

загальною (практичною) метою при цьому є регуляризація до деякої відомої робочої точки, наприклад, попередньої моделі, яку ви хочете замінити, але для якої ви хочете "плавний" перехід

— oDDsKooL

6

ВизначтеМи знаємо, що , через штраф має походження як його мінімізатор.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax вказує, що так самоЦе успішне узагальнення може призвести до того, що ми запропонуємо оцінювач де є функцією чий мінімізатор задовольняє деяку властивість, яку ми прагнемо. Дійсно, Sycorax приймає , де (однозначно) мінімізовано за початком, і, зокрема, . Тому , як бажано. На жаль, однак обидва варіанти $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ призводять до покарань, які не є випуклими, що призводить до того, що оцінювач важко підрахувати.

Наведений вище аналіз здається найкращим рішенням (можливо, до вибору , для якого я не маю кращого запропонувати), якщо ми наполягаємо на як унікальну інтерпретацію "прагне" до, описану в питання. Однак, якщо припустити, що , існує деяка кількість щоб мінімізатор проблемних задач ОП . Тому не потрібно змінювати цільову функцію. Якщо такого існує, то проблема обчислень $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ суттєво важко. Дійсно, немає потреби враховувати будь-який оцінювач, окрім коли намагаються заохотити природні властивості .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(Звернути увагу на те, що санкціонований оцінювач набуває значення штрафу, якого не досягає неосвоєний оцінювач, здається мені вкрай неприродним. Якщо хтось знає про місця, де це насправді бажано, будь ласка, прокоментуйте його!)

— користувач795305
джерело

1

Це відмінне доповнення. +1

— Sycorax повідомляє про відновлення Моніки

2

Для відповідного можна розглядати його як негативну ймовірність логарифмів, а відповідна регуляризація може розглядатися як негативна ймовірність журналу для попереднього розповсюдження. Такий підхід називається Maximum A Posteriori (MAP). $L$ $J$

Слід побачити приклади Sycorax у світлі MAP.

Детальніше про MAP можна переглянути ці примітки . З мого досвіду googling "максимум післяопераційне регуляризація" дає хороші результати.

— Якуб Бартчук
джерело