Які симптоми жорстокого кондиціонування при використанні прямих методів?

Припустимо, у нас є лінійна система, і ми нічого не знаємо про її умову і не маємо попередньої інформації про рішення. Ми сліпо застосовуємо усунення Гаусса і отримуємо деякий розв’язок . Чи можна визначити, чи є це рішення надійним (тобто що система добре кондиціонована) без ретельного попереднього аналізу матриці ? Чи дає величина поворотів достовірну інформацію? $x$

І взагалі, які основні вказівки щодо виявлення жорстокого кондиціонування "на льоту"?

linear-solver condition-number conditioning

— фалейчик
джерело

Відповіді:

Коли матриця погано обумовлена ? Це залежить від точності рішення, яке ви шукаєте, наскільки "краса в очах глядача" ...

Можливо, ваше питання слід краще переосмислити, чи є дешеві та надійні оцінки кількості умов на основі факторизації? $LU$

Припускаючи, що вас цікавить реальна загальна (щільна, несиметрична) проблема в арифметиці з подвійною точністю, я б запропонував вам скористатися експертом LAPACK DGSVX, який надає оцінку стану у вигляді її взаємної, . Як бонус у вас є також інші товари, такі як рівняння / врівноваження рівняння, ітераційне уточнення, межі помилок вперед та назад. До речі, про патологічну хворобливість ( ) сигналізується як помилка . $\text{RCOND}\approx 1/\kappa(A)$ $\kappa(A) > 1/\epsilon$ INFO>0

Детальніше, LAPACK оцінює номер умови в 1-нормі (або -норм, якщо ви вирішуєте ) через DGECON . Основний алгоритм описаний на газоні 36: "Міцні трикутні рішення для використання в оцінці стану" . $\infty$ $A^T x = b$

Я мушу визнати, що я не фахівець у цій галузі, але моя філософія така: "якщо це досить добре для ЛАПАКА, це для мене".

— Стефано М
джерело

Розв’язання неправильно обумовленої системи рівнянь з матрицею норми 1 випадкова права рука норми 1 матиме з великою часткою ймовірності норму порядку числа умови. Таким чином, обчислення декількох таких рішень підкаже, що відбувається.

— Арнольд Ноймаєр
джерело

Це дійсно те, що робить DGECON, з додаванням тонкості ітеративного уточнення напрямку пошуку, щоб досягти максимального результату, та використання користувальницького трикутного розв'язувача (а не BLAS), щоб не було викривлених речей помилок наближення. Тому обчислювальна вартість DGECON порівнянна з вашим простим тестом. +1 для запам'ятовування нас простого значення матричних норм та номера умови. Цікаво дізнатись, чи дійсно DGECON надійніший від простої випадкової перевірки.

— Стефано М

Беручи до уваги, що число умови розв’язування

збігається з числом умови обчислення

чи достатньо просто помножити масштабовану матрицю на ті випадкові вектори замість фактичного розв’язання

A x = b

$Ax=b$

A x

$Ax$

A x = b

$Ax=b$

— faleichik

@faleichik Напевно ні: хитрість тут полягає в масштабуванні

так, що

. Звичайно, будучи цією лінійною алгеброю, вам не потрібно насправді масштабувати

а лише

... все ж вам потрібно спершу обчислити

що ми прагнемо оцінити.

A

$A$

‖ A ‖ = 1

$\| A \| = 1$

κ (A) = ‖ A ‖ \cdot ‖ A^{- 1} ‖ = ‖ A^{- 1} ‖

$\kappa(A) = \| A \| \cdot \| A^{-1} \| = \| A^{-1} \|$

A

$A$

A x

$Ax$

. Ваш зворотний аргумент потребує спочатку обчислити

‖ A ‖

$\| A \|$

‖ A^{- 1} ‖

$\| A^{-1} \|$

— Стефано М

Майже неможливо сказати, чи ваша система погано обумовлена лише одним результатом. Якщо у вас є деякий прогноз поведінки вашої системи (тобто знаєте, яким має бути рішення), з одного рішення ви можете сказати не так багато.

Сказавши це, ви можете отримати більше інформації, якщо вирішите більше однієї системи з тим же $A$ . Припустимо, у вас є система форми . Для конкретного А, який ви не маєте попередніх знань щодо його кондиціонування, ви можете виконати наступний тест: $Ax=b$

Вирішити для конкретного вектора правого боку . $Ax=b$ $b$
Перешкоджаємо вектору правої руки на де дуже мала порівняно з . $b_{new}=b+\mathbf{\varepsilon}$ $||\mathbf{\epsilon}||$ $||b||$
Розв’яжіть . $Ax_{new}=b_{new}$
Якщо ваша система добре кондиціонована, ваше нове рішення має бути досить близьким до вашого старого рішення (тобто має бути мало). Якщо ви спостерігаєте кардинальні зміни вашого нового рішення (тобто є великим), то ваша система, ймовірно, погана. $||x-x_{new}||$ $||x-x_{new}||$

Можливо, вам знадобиться вирішити декілька лінійних систем з різними векторами правого боку, щоб краще зрозуміти, чи є система поганою умовою. Звичайно, цей процес є дещо дорогим ( операцій для першого рішення та операцій для кожного наступного рішення, якщо припустити, що ваш прямий вирішувач зберігає його фактори). Якщо ваша матриця A досить мала, це не проблема. Якщо вона велика, ви, можливо, не захочете цього робити. Натомість вам може бути краще обчислити номер умови $\Theta(n^3)$ $\Theta(n^2)$ в зручній нормі. $||A||\cdot||A^{-1}||$

— Пол
джерело

Θ (k n^{3})

$\Theta(kn^3)$

A

$A$

A

$A$

O (n^{3})

$O(n^3)$

O (n^{2})

$O(n^2)$

@JackPoulson: Ти абсолютно правий ... Напевно, я повністю розказав про це. Не хвилюйтесь :) Я оновлю свою відповідь

— Пол

Чи можна також оцінити залишок отриманого рішення? З тих пір

| | А х - б | |

$||Ax - b ||$ ваги як

| | А | | \cdot | | х | |

$||A||\cdot||x||$ майже однина

A

$A$ може дати значущий залишок, навіть якщо його рішення дуже погано.

— Рейд.Атчесон

@ Reid.Atcheson: Не дуже. Орієнтовне рішення погано кондиціонованої системи все ще може дати невеликий залишок. Це насправді не дає жодних ознак щодо того, наскільки це далеко від справжнього рішення.

— Павло

Можливо, розумніше чітко заявити

‖ ε ‖

$\|\varepsilon\|$ дуже маленький щодо

‖ b ‖

$\|b\|$ . У цій галузі все відносно ... Більшість читачів знають, але когось можна ввести в оману в небезпечних водах.

— Стефано М