Критерії зупинки ітеративних лінійних розв'язків, застосовані до майже сингулярних систем

$Ax=b$ $A$ $\lambda_0$ $A$ $r_n:=b-Ax_n$ $\|r_n\|/\|r_0\|<tol$ $n$ $v$ жити у власній просторі, пов’язаній з малим власним значенням що дає малий залишковий $\lambda_0$ $Av=\lambda_0v$ $r_0$ $\|r_n\|/\|r_0\|<tol$ $x_n-x$ все ще велика. Що в цьому випадку кращий показник помилок? Чихороший кандидат? $\|x_{n}-x_{n-1}\|$

linear-algebra

— Хуэй Чжан
джерело

Ви можете подумати над своїм визначенням "майже єдиного". Матриця (з і матрицею ідентичності) має дуже невелике власне значення, але настільки ж далеко не сингулярне, як будь-яка матриця.

I \cdot ϵ

$I \cdot \epsilon$

ϵ ≪ 1

$\epsilon\ll 1$

I

$I$

— Девід Кетчесон

Такожвидається неправильним позначенням. є більш типовим, ні?

| | r_{n} / r_{0} | |

$||r_n/r_0||$

| | r_{n} | | / | | r_{0} | |

$||r_n||/||r_0||$

— Білл Барт

Так, ти маєш рацію, Білл! Я виправлю цю помилку.

— Хуй Чжан

А як щодо

‖ b - A x ‖ / ‖ b ‖

$\| b - Ax \| / \| b \|$ ? і який саме ваш алгоритм?

— шухало

Додаток: Я вважаю, що наступний документ в значній мірі стосується поганих кондиціонованих систем, про які ви хвилюєтесь, принаймні, якщо ви використовуєте CG: Axelson, Kaporin: Оцінка норми помилок та критерії зупинки в попередньо обумовлених ітераціях спряжених градієнтів. DOI: 10.1002 / nla.244

— шухало

Відповіді:

Будь ласка, ніколи не використовуйте різницю між послідовними ітераціями для визначення критеріїв зупинки. Це неправильно діагностує застій для конвергенції. Більшість несиметричних ітерацій матриці не є монотонними, і навіть GMRES у точній арифметиці без перезапуску може застоюватися для довільної кількості ітерацій (аж до розмірності матриці), перш ніж раптово сходитися. Дивіться приклади в Nachtigal, Reddy та Trefethen (1993) .

Кращий спосіб визначити конвергенцію

Нас зазвичай цікавить точність нашого рішення більше, ніж розмір залишку. Зокрема, ми хотіли б гарантувати, що різниця між приблизним рішенням та точним рішенням задовольняє для деяких вказаних користувачем . Виявляється, можна досягти цього, знайшовши такий, що де - найменше особливе значення , обумовлене $x_n$ $x$

| x_{n} - x | < c

$|x_n - x| < c$

c

$c$

x_{n}

$x_n$

| A x_{n} - b | < c ϵ

$|A x_n - b| < c\epsilon$

ϵ

$\epsilon$

A

$A$

\begin{aligned} | x_{n} - x | & = | A^{- 1} A (x_{n} - x) | \\ \leq \frac{1}{ϵ} | A x_{n} - A x | \\ = \frac{1}{ϵ} | A x_{n} - b | \\ < \frac{1}{ϵ} \cdot c ϵ = c \end{aligned}

$\begin{align} |x_n - x| &= |A^{-1} A (x_n - x)| \\ & \le \frac 1 \epsilon |A x_n - A x| \\ & = \frac 1 \epsilon |A x_n - b| \\ & < \frac 1 \epsilon \cdot c \epsilon = c \end{align}$

де ми використали, що є найбільшим сингулярним значенням (другий рядок) і що точно вирішує $1/\epsilon$ $A^{-1}$ $x$ $A x = b$ (третій рядок).

Оцінка найменшого сингулярного значення $\epsilon$

Точна оцінка найменшого сингулярного значення, як правило, безпосередньо не доступна з проблеми, але вона може бути оцінена як побічний продукт спряженого градієнта або ітерація GMRES. Слід зазначити , що хоча оцінки найбільших власних і сингулярних значень, як правило , досить добре після кількох ітерацій, точна оцінка наімалейшего власним / сингулярних зазвичай виходить тільки один раз збіжність досягнута. Перед конвергенцією оцінка, як правило, буде значно більшою за справжнє значення. Це говорить про те, що ви повинні насправді розв’язати рівняння, перш ніж ви зможете визначити правильну толерантність . Толерантність до автоматичної конвергенції, яка забезпечує точність, задану користувачем $\epsilon$ $c\epsilon$ $c$ для рішення та оцінки найменшого сингулярного значення при поточному стані методу Крилова може зближуватися занадто рано, оскільки оцінка була набагато більшою, ніж справжня величина. $\epsilon$ $\epsilon$

Примітки

Вищенаведене обговорення також працює з заміненим лівим попередньо обумовленим оператором і попередньо обумовленим залишковим або з правою попередньо обумовленою оператором і помилкою . Якщо $A$ $P^{-1}A$ $P^{-1} (A x^n - b)$ $A P^{-1}$ $P (x_n - x)$ $P^{-1}$ є хорошим попереднім кондиціонером, попередньо обумовлений оператор буде добре кондиціонований. Для лівої попередньої кондиціонування це означає, що попередньо обумовлений залишок може бути невеликим, але справжній залишок може бути не таким. Для правильної попередньої кондиціонування, легко робиться невеликим, але справжня помилка може не бути. Це пояснює, чому ліве попереднє кондиціонування краще робити помилки невеликими, тоді як праве попереднє кондиціонування краще для створення залишків малих (і для налагодження нестабільних попередніх кондиціонерів). $|P(x_n - x)|$ $|x_n-x|$
Дивіться цю відповідь для більш детального обговорення норм, зведених GMRES та CG.
Оцінки екстремальних сингулярних значень можна відстежувати за -ksp_monitor_singular_valueдопомогою будь-якої програми PETSc. Див. KSPComputeExtremeSingularValues (), щоб обчислити особливі значення з коду.
Використовуючи GMRES для оцінки сингулярних значень, важливо, щоб перезавантаження не використовувалося (наприклад, -ksp_gmres_restart 1000у PETSc).

— Джед Браун
джерело

'' також працює з A, заміненим попередньо обумовленим оператором '' - Однак він застосовується лише до попередньо обумовленого залишкового

якщо використовується

, відповідно. до попередньо обумовленої помилки

якщо використовується

P^{- 1} r

$P^{-1}r$

P^{- 1} A

$P^{-1}A$

P^{- 1} δ x

$P^{-1}\delta x$

A P^{- 1}

$AP^{-1}$

— Арнольд Ноймаєр

Добре, я відредагував свою відповідь. Зауважте, що випадок, що задається правою умовою, дає вам змогу керувати

, розкручування попереднього кондиціонера (застосовуючи

), як правило, посилює низькоенергетичні режими помилки.

P δ x

$P\delta x$

P^{- 1}

$P^{-1}$

— Джед Браун

Іншим способом розгляду цієї проблеми є розгляд інструментів дискретних зворотних задач, тобто проблем, які передбачають розв’язання або де дуже погано обумовлений (тобто співвідношення між першим і останнім сингулярним значенням велике). $Ax=b$ $\min ||Ax-b||_2$ $A$ $\sigma_1/\sigma_n$

Тут у нас є кілька методів вибору критерію зупинки, і для ітеративного методу я рекомендував би критерій L-кривої, оскільки він включає лише наявні в наявності кількості (ВІДМОВЛЕННЯ: Мій радник запровадив цей метод, тому я, безумовно, упереджений це). Я успішно використовував це в ітеративному методі.

$\rho_k=||Ax_k-b||_2$ $\eta_k=||x_k||_2$ $x_k$ $k$

$(\rho_k,\eta_k)$

$abs(\frac{\log(\eta_k)-\log(\eta_{k-1})}{\log(\rho_k)-\log(\rho_{k-1})})$

Існують також більш детальні методи пошуку кута, і вони працюють краще, але потребують зберігання значної кількості ітерацій. Пограйте з цим трохи. Якщо ви перебуваєте в matlab, ви можете скористатись інструментами «Regularization Tools», який реалізує частину цього (конкретно, застосована функція «кут»).

Зауважимо, що цей підхід особливо підходить для масштабних проблем, оскільки додатковий час, що займається обчисленням, є незначним.

— ОскарБ
джерело

Дуже дякую! Отже, в логотипі (rho, eta) сюжет ми починаємо праворуч від кривої L і закінчуємо вгорі L, чи не так? Я просто не знаю принципу, що стоїть за цим критерієм. Чи можете ви пояснити, чому вона завжди поводиться як крива L і чому ми обираємо кут?

— Хуй Чжан

Вас вітають :-D. Для ітеративного методу ми починаємо справа і закінчуємося вгорі завжди. Він поводиться як L через шум у проблемі - вертикальна частина відбувається при

| | A x - b | |_{2} = | | e | |_{2}

$||Ax-b||_2=||e||_2$ , де

e

$e$ - вектор шуму

b_{e x a c t} = b + e

$b_{exact}=b+e$ . Для отримання додаткового аналізу див Hansen, PC, & O'Leary, DP (1993). Використання L-кривої в регуляризації дискретних невдалих задач. Журнал SIAM з наукових обчислень, 14. Зауважте, що я щойно зробив невелике оновлення до посади.

— ОскарБ

@HuiZhang: це не завжди L. Якщо регуляризація неоднозначна, це може бути подвійний L, що призводить до двох кандидатів на рішення, одного з грубими рисами краще вирішити, а іншого з певними деталями краще вирішити. (І звичайно, можуть з’являтися форми морської екомплексу.)

— Арнольд Ноймаєр,

Чи застосовується L-крива для проблем, обумовлених умовами, де має бути унікальне рішення? Тобто мене цікавлять проблеми Ax = b, де b відомо "точно", а A майже сингулярний, але технічно неперевернений. Мені здається, що якщо ви використовуєте щось на кшталт GMRES, норма вашої теперішньої здогадки про х не змінюється занадто сильно з часом, особливо після перших, проте багатьох ітерацій. Мені здається, що вертикальна частина L-кривої виникає тому, що в неправильно поставленій задачі немає єдиного / допустимого рішення; чи була б ця вертикальна особливість при всіх недоброзичливих проблемах?

— nukeguy

В один момент ви досягнете такої вертикальної лінії, як правило, тому що числові помилки у вашому методі рішення призводять до || Ax-b || не зменшуючись. Однак ви маєте рацію, що в таких проблемах, що не мають шуму, крива не завжди виглядає як L, а це означає, що у вас зазвичай є кілька кутів вибору, а вибір одного над іншим може бути важким. Я вважаю, що у статті, на яку я посилався у своєму коментарі вище, коротко обговорюються безшумні сценарії.

— ОскарБ

Критерії зупинки ітеративних лінійних розв'язків, застосовані до майже сингулярних систем

Кращий спосіб визначити конвергенцію

Оцінка найменшого сингулярного значення ϵϵ\epsilon

Примітки

Оцінка найменшого сингулярного значення $\epsilon$