У чому полягає принцип зближення методів підпростору Крилова для розв’язування лінійних систем рівнянь?

Як я розумію, існує дві основні категорії ітеративних методів розв’язання лінійних систем рівнянь:

Стаціонарні методи (Jacobi, Gauss-Seidel, SOR, Multigrid)
Методи підпростори Крилова (кон'югатний градієнт, GMRES тощо)

Я розумію, що більшість стаціонарних методів працюють за допомогою ітераційного розслаблення (згладжування) режимів Фур'є помилки. Як я розумію, метод кон'югатного градієнта (метод підпростору Крилова) працює, «переступаючи» через оптимальний набір напрямків пошуку від потужностей матриці, застосованих до го залишку. Чи спільний цей принцип для всіх підпросторових методів Крилова? Якщо ні, то як ми характеризуємо принцип, що лежить в основі конвергенції методів підпростору Крилова? $n$

— Пол
джерело

Ваш аналіз стаціонарних методів упереджений простими модельними проблемами, оскільки їх можна проаналізувати з точки зору режимів Фур'є. Він також ігнорує неявну чергу чергування напрямку (ADI) та багато інших методів. Сенс більшості "Стаціонарних методів" полягає в об'єднанні багатьох простих "приблизних часткових" розв'язувачів в один ітераційний вирішувач. Суть методів Крилова - прискорити (або навіть застосувати) конвергенцію заданої стаціонарної лінійної ітерації.

— Томас Клімпель

Документ, який, на мою думку, був написаний, щоб відповісти на ваші запитання, - це Іпсен і Мейєр, Ідея методів Крилова, Амер. Математика. Щомісяця 105 (1998) С. 889-899. Це дивовижно добре написаний і уточнюючий папір, доступний тут .

— Ендрю Т. Баркер

@ AndrewT.Barker: Дивовижно! Дякую Андрію! :)

— Пол

Відповіді:

Загалом, всі методи Крилова по суті шукають поліном, який є малим при оцінці за спектром матриці. Зокрема, й залишок методу Крилова (з нульовою початковою здогадкою) може бути записаний у формі $n$

r_{н} = П_{н} (А) б

$r_n = P_n (A) b$

де - якийсь монічний многочлен ступеня . $P_n$ $n$

Якщо діагоналізується, при , маємо $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{н} ‖ & \leq & ‖ V ‖ \cdot ‖ П_{н} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ б ‖ \\ = & κ (V) \cdot ‖ П_{н} (Λ) ‖ \cdot ‖ б ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

У випадку, якщо є нормальним (наприклад, симетричним чи унітарним), ми знаємо, що GMRES будує такий многочлен за допомогою ітерації Арнольді, тоді як CG будує поліном, використовуючи інший внутрішній продукт (детальніше див. Цю відповідь ) . Аналогічно BiCG будує свій многочлен через несиметричний процес Ланцоса, тоді як ітерація Чебишева використовує попередню інформацію про спектр (зазвичай оцінюють найбільші та найменші власні значення для симетричних певних матриць). $A$ $\kappa(V) = 1.$

Як класний приклад (мотивований Trefethen + Bau), розглянемо матрицю, спектр якої такий:

Спектр матриці

У MATLAB я створив це за допомогою:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Якщо ми розглянемо GMRES, який будує поліноми, які фактично мінімізують залишковий на всіх монічних поліномах ступеня , ми можемо легко передбачити залишкову історію, дивлячись на поліном кандидата $n$

P_{n} (z) = (1 - z)^{н}

$P_n (z) = (1-z)^n$

що в нашому випадку дає

| P_{н} (z) | = \frac{1}{2^{н}}

$|P_n(z)| = \frac{1}{2^n}$

для в спектрі . $z$ $A$

Тепер, якщо ми запустимо GMRES на випадковому RHS і порівняємо залишкову історію з цим многочленом, вони повинні бути досить схожими (кандидатські значення полінома менші, ніж залишкові GMRES, тому що ): $\|b\|_2 > 1$

Залишкова історія

— Рід.Атчесон
джерело

Чи можете ви пояснити, що ви маєте на увазі під "малим за спектром матриці"?

— Пол

Взятий в якості комплексного многочлена, многочлен

має малий модуль в області комплексної площини , яка включає в себе спектр

. Уявіть контурний графік, накладений на розсіяний графік власних значень. Як маленький малий? Це залежить від проблеми, чи нормально

, а права частина

Основна ідея, однак, полягає в тому, що послідовність многочленів

намагається отримати прогресивно менший і менший спектр, так що залишкова оцінка в моїй відповіді має тенденцію до

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Рейд.Атчесон

@ Reid.Atcheson: Дуже добре. Можу я рекомендую писати

як

, і відзначити , що це один для нормальних матриць?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Джек Поульсон

Лаплаціан, обумовлений оптимальним SOR, має спектр, дуже подібний до прикладу матриці. Докладніше тут: scicomp.stackexchange.com/a/852/119

— Джед Браун

Строго кажучи, CGNE не залежить від спектру, оскільки залежить лише від сингулярних значень.

— Джед Браун

Про норми

$n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

$A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

де ми використали помилку

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

$A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Гострота меж конвергенції

Нарешті, є цікава література щодо різних методів Крилова та тонкощі конвергенції GMRES, особливо для ненормальних операторів.

Nachtigal, Reddy та Trefethen (1992) Наскільки швидкими є несиметричні ітерації матриці? (авторський pdf) наводить приклади матриць, для яких один метод перемагає всі інші великим фактором (принаймні квадратний корінь розміру матриці).
Embree (1999) Наскільки описовими є межі конвергенції GMRES? дає глибоку дискусію з точки зору псевдоспектри, що дає чіткіші межі, а також стосується недіагоналізуючих матриць.
Embree (2003) черепаха та заєць перезапускають GMRES (автор pdf)
Greenbaum, Pták та Strakoš (1996) Для GMRES можлива будь-яка не збільшуюча крива конвергенції.

— Джед Браун
джерело

Ви залишили чудову книгу Олаві Неванлінні: books.google.com/…

— Метт Кнеплі

Ітеративні методи в двох словах:

$Ax=b$ $C$
$х = х + С б - С А х$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ - діагональна матриця, що містить діагональні елементи $A$ ).
Методи підпростору Крилова, по суті, є методами проекції : Ви вибираєте підпростори $U,V\subset \mathbb{C}^n$ і шукайте $\tilde x \in U$ такий, що залишковий $b-A\tilde x$ є ортогональним до $V$ . Для методів Крилова, $U$ Звичайно, це простір, що охоплюється повноваженнями $A$ застосовується до початкового залишку. Потім різні методи відповідають конкретному вибору $V$ (наприклад, $V=U$ для КГ та $V=AU$ для GMRES).

Властивості конвергенції цих методів (і методів проекції в цілому) випливають з того, що обумовлено відповідним вибором $V$ , the $\tilde x$ оптимальні над $U$ (наприклад, вони мінімізують похибки в енергетичній нормі для CG або залишкові для GMRES). Якщо ви збільшуєте розмірність $U$ під час кожної ітерації ви гарантовано (точно в арифметиці) знайдете рішення після безлічі кроків

Як вказував Рейд Атчесон, використовуючи проміжки Крилова для $U$ дозволяє довести показники конвергенції з точки зору власних значень (і, отже, кількості умови) $A$ . Крім того, вони мають вирішальне значення для отримання ефективних алгоритмів для обчислення проекції $\tilde x$ .

Це чудово пояснено у книзі Юсефа Саада про ітеративні методи .

— Крістіан Класон
джерело