Яке значення мають подвійні бруски та 2 внизу у звичайних найменших квадратах?

Я бачив це позначення для звичайних найменших квадратів тут .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

Я ніколи не бачив подвійних брусків і 2 внизу. Що означають ці символи? Чи є для них конкретна термінологія?

— Асеем Бансал
джерело

Використання подвійних брусків просто вказує на те, що ми використовуємо норму L2.

— Майкл Р. Черник

@MichaelChernick і 2? Це частина "норми L2"?

— Асеем Бансал

Так, як і L2, є і L1.

— Джон

Я думаю, що повинен бути оскільки - вектор

X_{w}

$X_w$

X w

$Xw$

w

$w$

— ilanman

@ilanman Так, це було в позначеннях до редагування. Я змінив її назад

— Aseem Bansal

Ви говорите про (норма Евкліда) вектора ( ). Якщо вам це чуже, коротко, -норма вектора : $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Тож у вашому випадку що відповідає сумі квадратних залишків для лінійної регресії. У контексті проблем регресії ви також багато чого побачите в підрахунках середньої квадратичної помилки (MSE) та в регресії хребта . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Це звичайна норма (серед інших причин це математично зручно), тому коли це очевидно з контексту, ви побачите нижню опущені, і просто . $2$ $\|u\|^2$

Як згадується в коментарях, ви також можете побачити : $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

Що відповідає абсолютній величині. Знову ж таки, ви побачите це в середній абсолютній помилці (МАЕ) або проблемах з ласо .

Інші популярні норми:

1 -norm: відстань Хеммінга , або # ненулів у векторі, тобто для обчислення розрідженості вектора. Технічно це не норма (це функція кардинальності), оскільки у вас є термін , але він має форму норми, тому ми називаємо його одним.
- Ця норма є ідеальною нормою, що застосовується для спонукання обмеженості для проблем регресії, оскільки ми дійсно хочемо нульові коефіцієнти, однак обчислення регуляризація є NP-важким, тому натомість ми наближаємо її до яке можна вирішити за допомогою лінійного програмування. Він також популярний у стисненому зондуванні . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = для $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : норма Фробеніуса (Евкліда), застосована до матриці $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— іланман
джерело

Посилання на альфа-вольфрам було дуже корисним.

— Асеем Бансал

Ви пишете, що норма (псевдо) враховує кількість нулів у векторі - ви, можливо, мали на увазі кількість не- нульових записів? (Це буде більше відповідати тому, що я бачив, а також означало б, що буде відстань Хеммінга між та , на відміну від мінус цього відстань.)

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargin

Орфографічна помилка: "Frobenius".

— варення

Замість "це звичайна норма" я б тільки сказав "L2 - це норма";)

— user541686