Чому невмовно обумовлені лінійні системи можна точно вирішити?

Відповідно до відповіді , велике число умови (для лінійного розв'язання системи) зменшує гарантовану кількість правильних цифр у рішенні з плаваючою комою. Матриці диференціації вищого порядку в псевдоспектральних методах, як правило, дуже погано обумовлені. Чому ж це все ще дуже точні методи?

Я розумію, що низька точність, що надходить від неправильно обумовлених матриць, - це лише гарантоване значення, але все ж змушує мене замислитися, чому неправильно обумовлені матриці точно вирішуються прямими методами на практиці - наприклад, LCOLстовпці таблиці 3.1 на сторінці 11 Ван та ін., ДУЖЕ КОНДИЦІОНОВАНИЙ МЕТОД КОЛОКАЦІЇ, ВИКОРИСТОВУЮЧИМ ПАТЕВОДСПЕКТРАЛЬНУ МЕТРИКУ ІНТЕГРАЦІЇ , SIAM J. Sci. Обчисл., 36 (3) .

Додано після моєї початкової відповіді:

Мені здається, що автор згаданого документу вказує номери умов (мабуть, 2-нормові умови умов, але, можливо, номери умов нескінченності) у таблиці, надаючи максимальні абсолютні помилки, а не відносні норми помилок або максимальні відносні помилки в елементах ( все це різні заходи.) Зауважте, що максимальна відносна похибка в елементах - це не те саме, що відносна похибка безмежно-нормової норми. Крім того, помилки в таблиці відносяться до точного рішення вихідної диференціальної граничної задачі рівняння, а не до дискретизованої лінійної системи рівнянь. Таким чином, інформація, надана в роботі, дійсно не підходить для використання із пов'язаною помилкою на основі номера умови.

Однак у моїй реплікації обчислень я бачу ситуації, коли відносна похибка норми нескінченності (або двомовна відносна похибка) значно менша, ніж обмежена величина, задана числом умови норми нескінченності (відповідно 2-нормне число умови). Іноді просто пощастить.

Я використав пакет DMSUITE MATLAB і вирішив приклад проблеми з цієї статті, використовуючи метод псевдоспектралі з поліномами Чебишева. Мої показники стану та максимальні абсолютні помилки були аналогічні тим, про які повідомлялось у статті.

Я також бачив відносні норми помилок, які були дещо кращими, ніж можна було очікувати, виходячи з кількості умови. Наприклад, на прикладі задачі з , використовуючи N = 1024 , я отримую$\epsilon=0.01$$N=1024$

cond (A, 2) = 7,9e + 8

cond (A, inf) = 7,8e + 8

норма (u-uexact, 2) / норма (uexact, 2) = 3.1e-12

норма (u-uexact, inf) / норма (uexact, inf) = 2,7е-12

Здається, що рішення добре, приблизно до 11-12 цифр, тоді як номер умови знаходиться в порядку 1e8.

Однак ситуація з елементарними помилками є цікавішою.

max (abs (u-uexact)) = 2,7e-12

Це все одно добре виглядає.

max (abs ((u-uexact) ./ uexact) = 6.1e + 9

Нічого, дуже велика відносна помилка принаймні в одному компоненті рішення.

Що трапилось? Точне рішення цього рівняння має невеликі компоненти (наприклад, 1.9e-22), тоді як приблизний розчин розливається за набагато більшого значення 9e-14. Це приховано вимірюванням відносної похибки норми (будь то 2-норма чи нескінченність-норма) і стає видимим лише тоді, коли ви подивитеся на елементарні похибки та приймаєте максимум.

Моя початкова відповідь нижче пояснює, чому можна отримати відносну похибку норми в рішенні, меншу ніж обмеження, задане номером умови.

---

$\kappa(A)$$A(x+\Delta x)=b+\Delta b$$Ax=b$

$\frac{\| \Delta x \|}{\| x \|} \leq \kappa(A) \frac{\| \Delta b \|}{\| b \|}$

Номери умов можна обчислити відносно різних норм, але часто використовується номер двох норм, і це номер умови, який використовується у роботі, на яку ви посилаєтесь.

Найгірша помилка випадок має місце , коли є лівим сингулярних вектор , відповідний найменшому сингулярного значення . У кращому випадку відбувається , коли є лівим сингулярним вектором , відповідним найбільшим сингулярного значення . Коли є випадковим, тоді ви повинні подивитися на проекції на всі ліві сингулярні вектори та відповідні особливі значення. Залежно від спектру , все може йти дуже погано або дуже добре. $\Delta b$$A$$A$$\Delta b$$A$$A$$\Delta b$$\Delta b$$A$$A$

Розглянемо дві матриці , обидві з 2-нормальним умовою число . Перша матриця має єдині значення , , , . Друга матриця має особливі значення , , , , . $A$$1.0 \times 10^{10}$$1$$1 \times 10^{-10}$$\ldots$$1 \times 10^{-10}$$1$$1$$\ldots$$1$$1 \times 10^{-10}$

У першому випадку випадкове збурення навряд чи буде в напрямку першого лівого сингулярного вектора і, швидше за все, буде близьким до одного з сингулярних векторів із сингулярним значенням . Таким чином, відносна зміна розчину, ймовірно, буде дуже великою. У другому випадку практично будь-яке збурення буде близьким за напрямом до сингулярного вектора з сингулярним значенням , а відносна зміна рішення буде невеликою. $1 \times 10^{-10}$$1$

PS (додано пізніше після повернення з уроку йоги ...)

Формула рішення є$A\Delta x = \Delta b$

$\Delta x = V \Sigma^{-1} U^{T} \Delta b=\sum_{i=1}^{n} \frac{U_{i}^{T}\Delta b}{\sigma_{i}} V_{i}$

За теоремою Піфагора,

$\| \Delta x \|_{2}^{2}= \sum_{i=1}^{n} \left( \frac{U_{i}^{T}\Delta b}{\sigma_{i}} \right)^{2}$

Якщо ми збережемо , тоді ця сума максимальна при і мінімізована, коли .$\| \Delta b \|_{2}=1$$\Delta b=U_{n}$$\Delta b=U_{1}$

У ситуації, що розглядається тут, є результатом випадкових помилок округлення, тому значення повинні бути приблизно однакової величини. Терміни з меншими значеннями багато сприятимуть помилкам, тоді як терміни з більшими значеннями не сприятимуть великій кількості. Залежно від спектру, це може бути набагато менше, ніж у гіршому випадку. $\Delta b$$U_{i}^{T}\Delta b$$\sigma_{i}$$\sigma_{i}$

tl; dr Вони повідомили номер умови, не обов'язково правильний номер умови для матриці, оскільки є різниця.

Це властиво матриці та вектору правої сторони. Якщо ви подивитеся на документацію*getrs , він говорить про те, що пов'язана помилка вперед Тут - не зовсім звичайний номер умови , а скоріше (Тут всередині норми це абсолютні значення, що залежать від компонентів.) Див., Наприклад, Ітераційне уточнення для лінійних систем та LAPACK за Хіггемом , або Точність та стабільність чисельних алгоритмів Хіггема (7.2).

$$\frac{\|x-x_0\|_\infty}{\|x\|_\infty} \lesssim \mathrm{cond}(A,x)u \leq \mathrm{cond}(A)u.$$ $\mathrm{cond}(A,x)$$\kappa_\infty(A)$ $$\mathrm{cond}(A,x) = \frac{\||A^{-1}||A||x|\|_\infty}{\|x\|_\infty},\\ \mathrm{cond}(A) = \||A^{-1}||A|\|.$$

Для вашого прикладу я взяв псевдоспектральний диференціальний оператор для аналогічної проблеми з , і насправді існує велика різниця міжі я обчислив і , що достатньо для пояснення спостереження, що це відбувається для всіх правої сторони, оскільки порядки величин приблизно відповідають тому, що є видно в таблиці 3.1 (на 3-4 порядки краще помилок). Це не працює , коли я намагаюся те ж саме для всього випадкових неупітанних матриць, тому він повинен бути властивістю .$n=128$$\||A^{-1}||A|\|$$\kappa_\infty(A)$$7\times 10^3$$2.6\times 10^7$$A$

Явний приклад, для якого два числа умов не відповідають, який я взяв від Хіггема (7.17, стор.124), завдяки Кахану - Ще один приклад, який я знайшов, - це просто звичайна матриця Вандермонд із випадковим . Я пройшов, і деякі інші умовні матриці також дають такий результат, як і .

$$\begin{pmatrix}2&-1&1\\-1&\epsilon&\epsilon\\1&\epsilon&\epsilon\end{pmatrix}, \qquad \begin{pmatrix}2+2\epsilon\\-\epsilon\\\epsilon\end{pmatrix}.$$ [1:10]$b$MatrixDepot.jltriwmoler

По суті, те, що відбувається, полягає в тому, що, аналізуючи стійкість вирішення лінійних систем відносно збурень, спочатку потрібно вказати, які збурення ви розглядаєте. Розв'язуючи лінійні системи з LAPACK, ця пов'язана помилка враховує компоненти, обумовлені компонентними збуреннями в , але не збурення в . Отже, це відрізняється від звичайного, який розглядає нормально збурення і в і в .$A$$b$$\kappa(A) = \|A^{-1}\|\|A\|$$A$$b$

Розгляньте (як контрприклад) також, що буде, якщо ви не зробите різницю. Ми знаємо, що за допомогою ітеративного уточнення з подвійною точністю (див. Посилання вище) ми можемо отримати найкращу можливу відносну похибку для тих матриць з . Отже, якщо ми розглядаємо ідею, що лінійні системи не можуть бути вирішені з точністю кращою, ніж , як би можливе вдосконалення рішень?$O(u)$$\kappa(A)\ll 1/u$$\kappa(A)u$

PS значення те, що ?getrsкажуть, що обчислене рішення є справжнім рішенням (A + E)x = bз збуренням в , але без збурень в . Все було б інакше, якби збурення були дозволені в .$E$$A$$b$$b$

Редагувати Для того, щоб показати, що це працює більш прямо, в коді, що це не флюк, чи справа удачі, а скоріше (незвичне) наслідок, коли два числа умов дуже відрізняються для деяких конкретних матриць, тобто

$$\mathrm{cond}(A,x) \approx \mathrm{cond}(A) \ll \kappa(A).$$

function main2(m=128)
    A = matrixdepot("chebspec", m)^2
    A[1,:] = A[end,:] = 0
    A[1,1] = A[end,end] = 1
    best, worst = Inf, -Inf
    for k=1:2^5
        b = randn(m)
        x = A \ b
        x_exact = Float64.(big.(A) \ big.(b))
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        best, worst = min(best, err), max(worst, err)
    end
    @printf "Best relative error:       %.3e\n" best
    @printf "Worst relative error:      %.3e\n" worst
    @printf "Predicted error κ(A)*ε:    %.3e\n" cond(A, Inf)*eps()
    @printf "Predicted error cond(A)*ε: %.3e\n" norm(abs.(inv(A))*abs.(A), Inf)*eps()
end

julia> main2()
Best relative error:       2.156e-14
Worst relative error:      2.414e-12
Predicted error κ(A)*ε:    8.780e-09
Predicted error cond(A)*ε: 2.482e-12

Редагувати 2 Ось ще один приклад того ж явища, коли номери різних умов несподівано сильно відрізняються. Цього разу Тут - матриця Вандермонд 10 × 10 на , і коли вибрано випадковим чином, помітно менше, ніж , а найгірший випадок задається для деякого .

$$\mathrm{cond}(A, x) \ll \mathrm{cond}(A) \approx \kappa(A).$$ $A$$1:10$$x$$\mathrm{cond}(A,x)$$\kappa(A)$$x$$x_i = i^a$$a$

function main4(m=10)
    A = matrixdepot("vand", m)
    lu = lufact(A)
    lu_big = lufact(big.(A))
    AA = abs.(inv(A))*abs.(A)
    for k=1:12
        # b = randn(m) # good case
        b = (1:m).^(k-1) # worst case
        x, x_exact = lu \ b, lu_big \ big.(b)
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        predicted = norm(AA*abs.(x), Inf)/norm(x, Inf)*eps()
        @printf "relative error[%2d]    = %.3e (predicted cond(A,x)*ε = %.3e)\n" k err predicted
    end
    @printf "predicted κ(A)*ε      = %.3e\n" cond(A)*eps()
    @printf "predicted cond(A)*ε   = %.3e\n" norm(AA, Inf)*eps()
end

Середній випадок (майже на 9 порядків краща помилка):

julia> T.main4()
relative error[1]     = 6.690e-11 (predicted cond(A,x)*ε = 2.213e-10)
relative error[2]     = 6.202e-11 (predicted cond(A,x)*ε = 2.081e-10)
relative error[3]     = 2.975e-11 (predicted cond(A,x)*ε = 1.113e-10)
relative error[4]     = 1.245e-11 (predicted cond(A,x)*ε = 6.126e-11)
relative error[5]     = 4.820e-12 (predicted cond(A,x)*ε = 3.489e-11)
relative error[6]     = 1.537e-12 (predicted cond(A,x)*ε = 1.729e-11)
relative error[7]     = 4.885e-13 (predicted cond(A,x)*ε = 8.696e-12)
relative error[8]     = 1.565e-13 (predicted cond(A,x)*ε = 4.446e-12)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

Найгірший випадок ( ):$a=1,\ldots,12$

julia> T.main4()
relative error[ 1]    = 0.000e+00 (predicted cond(A,x)*ε = 6.608e-13)
relative error[ 2]    = 1.265e-13 (predicted cond(A,x)*ε = 3.382e-12)
relative error[ 3]    = 5.647e-13 (predicted cond(A,x)*ε = 1.887e-11)
relative error[ 4]    = 8.895e-74 (predicted cond(A,x)*ε = 1.127e-10)
relative error[ 5]    = 4.199e-10 (predicted cond(A,x)*ε = 7.111e-10)
relative error[ 6]    = 7.815e-10 (predicted cond(A,x)*ε = 4.703e-09)
relative error[ 7]    = 8.358e-09 (predicted cond(A,x)*ε = 3.239e-08)
relative error[ 8]    = 1.174e-07 (predicted cond(A,x)*ε = 2.310e-07)
relative error[ 9]    = 3.083e-06 (predicted cond(A,x)*ε = 1.700e-06)
relative error[10]    = 1.287e-05 (predicted cond(A,x)*ε = 1.286e-05)
relative error[11]    = 3.760e-10 (predicted cond(A,x)*ε = 1.580e-09)
relative error[12]    = 3.903e-10 (predicted cond(A,x)*ε = 1.406e-09)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

Редагувати 3 Іншим прикладом є матриця Форсайта, яка є збуреним Йорданським блоком будь-якого розміру форми Це має , , тому , але , тому . І як можна перевірити вручну, розв’язування таких систем лінійних рівнянь, як з поворотом є надзвичайно точним, незважаючи на потенційно необмежений . Тож ця матриця теж дасть несподівано точні рішення.

$$A = \begin{pmatrix} 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \\ \epsilon&0&0&0 \end{pmatrix}.$$ $\|A\|=1$$\|A^{-1}\|=\epsilon^{-1}$$\kappa_\infty(A) = \epsilon^{-1}$$|A^{-1}| = A^{-1} = |A|^{-1}$$\mathrm{cond}(A) = 1$$Ax=b$$\kappa_\infty(A)$

Редагувати 4 матриці Кахана так само, як :$\mathrm{cond}(A)\ll \kappa(A)$

A = matrixdepot("kahan", 48)
κ, c = cond(A, Inf), norm(abs.(inv(A))*abs.(A), Inf)
@printf "κ=%.3e c=%.3e ratio=%g\n" κ c (c/κ)

κ=8.504e+08 c=4.099e+06 ratio=0.00482027