Чому матрична норма за замовчуванням - це спектральна норма, а не норма Фробеніуса?

Для векторної норми норма L2 або "евклідова відстань" є широко використовуваним та інтуїтивним визначенням. Але чому для матриці "найбільш використовуваним" або "стандартним" визначенням норми є спектральна норма , але не норма Фробеніуса (яка аналогічна нормі L2 для векторів)?

Чи має це щось спільне з ітераційними алгоритмами / матричними потужностями (якщо спектральний радіус менший за 1, то алгоритм буде сходитися)?

---

1. Це завжди сперечається для таких слів, як "найчастіше використовується", "за замовчуванням". Згадане вище слово "за замовчуванням" походить від типу повернення за замовчуванням у Matlabфункції norm. У Rстандартній нормі для матриці є норма L1. Обидва є «неприродним» для мене (для матриці, вона здається більш «природним» , щоб зробити $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ як у векторі). (Дякую за коментарі @ usεr11852 та @ whuber і вибачте за плутанину.)

2. Можливо, розширення використання матричної норми допоможе мені зрозуміти більше?

Взагалі, я не впевнений, що спектральна норма є найбільш широко використовуваною. Наприклад, норма Фробеніуса використовується для наближення рішення щодо негативної матричної факторизації або регуляризації матриці кореляції / коваріації . Я думаю, що частина цього питання випливає з термінологічного проступку, який деякі роблять (включаючи і мене), коли вони посилаються на норму Фробеніуса як норму матриці Евкліда . Ми не повинні тому, що насправді норма матриці (тобто спектральна норма) є тією, яка індукується до матриць при використанні векторної норми L 2 . Норма Фробеніуса полягає в тому, що є елементарним: | | А | $L_2$$L_2$ , тоді якнорма матриціL2(||A||2=$||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$$L_2$) заснований на сингулярних значеннях, тому він є більш "універсальним". (на удачу в кращому терміні?)Матрична нормаL2є нормою евклідового типу, оскільки вона індукується евклідовою векторною нормою, де| | А| | 2=макс | | х | | 2 = 1 | | Ах| | 2. Отже, цеіндукована нормадля матриць, оскільки вонаіндукуєтьсяa$||A||_2 = \sqrt{\lambda_{max}(A^T A)})$$L_2$$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$векторна норма , векторна норма в цьому випадку.$L_2$

Ймовірно, MATLAB має на меті забезпечити норму за замовчуванням при використанні команди ; як наслідок, це забезпечує норму вектора Евкліда, але також і$L_2$normматричну норму L 2 , тобто. спектральна матрична норма(а не помилково цитує «Фробениуса / евклидова матрична норма»). Нарешті, дозвольте мені зазначити, що те, що єтиповою нормою,є питанням думки до деякого поширення. Наприклад, "Матрична алгебра - теорія, обчислення та додатки в статистиці"Дж. Джентерабуквально містить розділ (3.9.2) під назвою: "The Frobenius Норма - «Звичайна» норма$L_2$"; так очевидно, що спектральна норма не є нормою за замовчуванням для всіх розглянутих сторін! :) Як коментує @amoeba, різні громади можуть мати різні термінологічні конвенції. Само собою зрозуміло, що я вважаю, що книга Джентльмена є неоціненним ресурсом з цього питання. Додаток Лін. Алгебра в статистиці, і я б запропонував вам переглянути це далі!

Частина відповіді може бути пов'язана з числовими обчисленнями.

Коли ви вирішите систему

$$Ax=b$$ з кінцевою точністю, ви не отримаєте точної відповіді на цю проблему. Ви отримуєте наближення $\tilde x$ через обмеження скінченної арифметики, так що $A\tilde x \approx b$ , в якомусь підходящому значенні. Що тоді представляє ваше рішення? Що ж, це може бути точним рішенням для якоїсь іншої системи, наприклад $$\tilde A \tilde x = \tilde b$$ Отже, щоб $\tilde x$ мала корисність, система tilde повинна бути близькою до початкової системи: $$\tilde A \approx A, \quad \tilde b \approx b$$ Якщоваш алгоритмрозв’язання вихідної системи задовольняє цій властивості, то вона називаєтьсястійкою назад. Тепер точний аналіз того, наскільки великі розбіжності$\tilde A-A$,$\tilde b-b$зрештою призводять до помилок на межах, які виражаються як$\| \tilde A-A \|$,$\| \tilde b-b\|$. Для деяких аналізівнорма$l_1$(максимальна сума стовпців) найпростіша для просування, для інших -$l_\infty$ норма (максимальна сума рядків) найпростіша для просування (наприклад, для компонентів розчину у випадку лінійної системи), а для інших, спектральна норма $l_2$ є найбільш прийнятною (індукована традиційним $l_2$ векторна норма, як зазначено в іншій відповіді ). Для робочого коня статистичних обчислень в симетричній інверсії матриці psd розкладання Чолеського (дрібниці: перший звук є [x], як у грецькій букві "chi", а не [tʃ], як у "chase"), найбільш зручною нормою для відслідковувати межі помилок - це норма $l_2$ ... хоча норма Фробеніуса також з'являється в деяких результатах, наприклад, за інверсією розподіленої матриці.

$\|\cdot\|_a$ and $\|\cdot\|_b$, there exist constants $C_1,C_2$, which depend only on dimension (and a,b) such that:

$$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$, unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$.