Що таке норми і наскільки вони мають відношення до регуляризації?

Останнім часом я бачу багато робіт про розріджене уявлення, і більшість із них використовують норму і роблять деяку мінімізацію. Моє запитання: що є норма , а змішаною нормою? І наскільки вони мають відношення до регуляризації? $\ell_p$ $\ell_p$ $\ell_{p, q}$

Дякую

machine-learning regularization sparse

— вода
джерело

$\ell_p$ Норми це функції, які приймають вектори та повертають неотримані числа. Вони визначаються як У випадку, коли , це називається евклідовою нормою. Ви можете визначити евклідову відстань як . Коли , це просто означає (або ). Строго кажучи, повинен бути принаймні один, щоб була нормою . Якщо , то

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ насправді не є нормою, оскільки норми повинні задовольняти нерівність трикутника.

(Існують також норми , які визначені аналогічно, за винятком функцій замість векторів або послідовностей. Дійсно, це те саме, оскільки вектори - це функції з кінцевими областями.) $L_p$

Мені невідомо про використання норми в додатку машинного навчання, де , за винятком випадків, коли . Зазвичай ви бачите або , а іноді де ви хочете розслабити випадок; не є строго опуклим у , але є для . Це може полегшити пошук рішення у певних випадках. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

У контексті регуляризації, якщо ви додасте до своєї цільової функції, ви говорите про те, що ви очікуєте, що буде розрідженою , тобто здебільшого складається з нулів. Це трохи технічно, але в основному, якщо є щільне рішення, швидше за все, більш рідке рішення з тією ж нормою. Якщо ви очікуєте, що ваше рішення буде густим, ви можете додати до вашої мети, оскільки тоді набагато простіше працювати з його похідною. Обидва служать для того, щоб розчин не мав надто великої ваги. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

Змішана норма входить, коли ви намагаєтесь інтегрувати кілька джерел. В основному ви хочете, щоб вектор рішення складався з декількох частин , де - індекс деякого джерела. норма тільки -норма все -норма зібраний в векторі. Тобто, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Мета цього - не "надмірне розмноження" набору рішень, скажімо, використовуючи . Окремі шматки рідкі, але ви не ризикуєте занести весь вектор розчину, взявши -норму всіх розчинів. Таким чином, ви використовуєте -норм зовні. $\|\vec x\|_{1,2}$ $1$ $2$

Сподіваюся, що це допомагає.

Докладнішу інформацію див. У цьому документі .

— Джозефіна Моллер
джерело

+1 для пояснення змішаних норм. Я ніколи їх сам не розумів.

— Суреш Венкатасубраманійський

(+1) Приємна відповідь. Ласкаво просимо до CrossValidated, Джон!

— MånsT