Проблеми, коли кон'югат градієнта працює набагато краще, ніж GMRES

17

Мене цікавлять випадки, коли градієнт кон'югату працює набагато краще, ніж метод GMRES.

Взагалі, CG є кращим вибором у багатьох випадках SPD (симетрично-позитивний-визначений), оскільки він вимагає меншої кількості зберігання, а теоретична пов'язана зі швидкістю конвергенції для CG подвійна, ніж GMRES. Чи є якісь проблеми, коли фактично спостерігаються такі ставки? Чи є характеристика випадків, коли GMRES виконує кращі або порівнянні з CG для однакової кількості spmvs (розріджене множення матрично-векторних).

linear-solver conjugate-gradient gmres

— piyush_sao
джерело

8

Одне, що CG має на користь, - це те, що вона не зводить до мінімуму дискретні норми $l^2$ для своїх залишкових поліномів (що робить GMRES). Натомість це мінімізація норми, спричиненої матрицею, і дуже часто ця норма, викликана матрицею, виявляється дуже близькою до енергетичної норми для дискретизацій фізичних проблем, і часто це набагато більш розумна норма для вимірювання помилок через властивості збереження з фізики.

Такого ефекту реально можна досягти і за допомогою GMRES, якщо проведення Чолеського факторизації масової матриці не надто дорого, ви можете змусити внутрішні продукти бути енергетичними внутрішніми продуктами, які ви хочете.

Тоді випадки, коли слід очікувати, що CG буде відрізнятися від GMRES, тоді це коли константи, що мають на увазі норму еквівалентності, сильно відрізняються. Це може бути справедливим, наприклад, для спектрального методу Галеркіна високого порядку, коли дискретна норма $l^2$ використовується в GMRES, розглядає всі ступені свободи як рівні, коли насправді поліноміальні градієнти найгостріші біля меж (отже, кластеризація вузлів), і так Константи еквівалентності норми між цією нормою і кажуть, що неперервна норма $L^2$ задана матрицею маси, може бути дуже великою.

— Рід.Атчесон
джерело

Хотів навести приклад тут із методом високого порядку та історіями конвергенції CG, GMRES та GMRES + Холеського трюк .. але, на жаль, єдиним кодом, який я маю під рукою для проблем другого порядку, є ГД несиметричного різноманіття .. тому CG isn я не хотів би бачити це в дії.

— Рейд.Атчесон

3

Я думаю, що ваша відповідь отримує щось важливе, але я б хотів, щоб ви пояснили. Зокрема, питання - це чисте лінійне алгебрне запитання, а ваша відповідь говорить про фізичні норми та матриці мас тощо з числового PDE. Чи можемо ми сказати щось точне про те, як мінімізація різних норм у межах одного простору Крилова призводить до різних ітерацій?

— Ендрю Т. Баркер

Окрім чисельних прикладів, я не думаю, що було проведено ретельне теоретичне дослідження, що пояснює, як різні норми дають суттєво різні відповіді. Думаю, питання полягає в тому, що результати обертаються навколо асимптотики, а для фіксованої лінійної системи теоретичні результати будуть ідентичними по модулю постійними факторами. Якщо там є якісь теоретичні дослідження, я б хотів їх побачити, але, запитавши когось із експертів лінійної алгебри з чисельних питань мого відділу, не здається, що ще є точний теоретичний аналіз, що показує, що відбувається з різними нормами.

— Reid.Atcheson

4

Я підозрюю, що взагалі немає великої різниці між GMRES та CG для матриці SPD.

Скажімо , ми вирішуємо з симетричним позитивно певним і вихідним припущенням і породжує итерацией з CG і GMRES, назвемо їх і . Обидва ітеративні методи будуть будувати з того самого простору Крилова . Вони зроблять це дещо по-різному. $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

CG характеризується мінімізацією похибки в енергетичній нормі, індукованій , так що $e_k^c = x - x_k^c$ $A$

(А е_{к}^{c}, е_{к}^{c}) = (А (х - х_{к}^{c}), х - х_{к}^{c}) = \underset{у \in К}{хв} (А (х - у), х - у) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

GMRES мінімізує замість залишкового , і робить це в дискретній нормі , так що $r_k = b - A x^g_k$ $\ell^2$

(r_{к}, r_{к}) = (б - А х_{к}^{г}, б - А х_{к}^{г}) = \underset{у \in К}{хв} (б - А у, б - А у) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$ Тепер, використовуючи рівняння помилок

ми також можемо записати GMRES як мінімізацію

де Я хочу підкреслити , що це справедливо тільки для СПД матриці

. Тоді ми маємо CG, мінімізуючи помилку щодо

A e_{k} = r_{k}

$A e_k = r_k$

(r_{к}, r_{к}) = (А е_{к}^{г}, А е_{к}^{г}) = (А^{2} е_{к}^{г}, е_{к}^{г})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$ норма та GMRES мінімізуючи похибку щодо норми

. Якщо ми хочемо, щоб вони поводилися дуже по-різному, інтуїтивно нам би знадобився такий

, що ці дві норми сильно відрізняються. Але для SPD

ці норми поводяться зовсім аналогічно.

A^{2}

$A^2$

A

$A$

A

$A$

Щоб отримати ще більш конкретний характер, у першій ітерації з простором Крилова і CG, і GMRES побудують наближення вигляду . CG вибере $K_1 = \{ b \}$ $x_1 = \alpha b$ і GMRES вибере

α = \frac{(б, б)}{(А б, б)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

α = \frac{(А б, б)}{(А^{2} б, б)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ так що цей фактор у двох відмінностях продовжується протягом усієї ітерації, але я сумніваюся, що вона стає гіршою за це.

— Ендрю Т. Баркер
джерело

2

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$

ϵ^{- 1}

$\epsilon^{-1}$

3

Одне полягає в тому, що GMRES ніколи не використовується там, де можна застосувати CG. Я не думаю, що має сенс порівнювати ці два. Що стосується матриць SPD, CG, безумовно, є переможцем через вимоги до зберігання та причини, про які ви згадали вище. Питання, яке було б цікавим, полягає в тому, щоб знайти розширення CG, яке стосується проблем, коли CG неможливо застосувати. Існують такі методи, як BiCG-stab, які не потребують лінійно збільшуваної пам'яті, як GMRES, але конвергенція не така хороша, як GMRES (іноді навіть із перезапущеним GMRES).

— user1964178
джерело

2

Існують схеми IDR, які усувають розрив між GMRES та BiCG з точки зору економії пам’яті, стабільності та конвергенції: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html Я не впевнений, що я згоден з тим, що GMRES не слід використовувати, якщо CG могла бути. Якщо ви можете зробити холесну факторизацію матриці, яка індукує вашу енергетичну норму, то ви можете передати це в симетричну ітерацію Ланцоса і отримати тричасний розчин рецидиву, який буде вести себе майже як КГ. Звичайно, CG - це простіший варіант, але варіант доступний :)

— Reid.Atcheson

2

Наприклад, якщо ви використовуєте більш плавний Крилов, то GMRES, ймовірно, є кращим, оскільки він використовує більш слабку норму, яка спрямована на більші власні значення, які мають більш високу частоту.

— Джед Браун