Коли ортогональні перетворення випереджають елімінацію Гаусса?

22

Як ми знаємо, методи ортогональних перетворень (обертання Гівна і відображення Хоулхолдера) для систем лінійних рівнянь дорожчі, ніж елімінація Гаусса, але теоретично мають кращі властивості стійкості в тому сенсі, що вони не змінюють номер умови системи. Хоча я знаю лише один академічний приклад матриці, яка зіпсована гауссова елімінацією з частковим поворотом. І існує загальна думка, що навряд чи зустрінеться така поведінка на практиці (див. Примітки до лекції [pdf] ).

Отже, де шукати відповідь на цю тему? Паралельні реалізації? Оновлення? ..

linear-algebra reference-request

— фалейчик
джерело

24

Точність

Трефефен та Шрайбер написали чудовий документ " Стабільність середнього випадку гауссової елімінації" , в якому обговорюється точність вашого запитання. Ось кілька її висновків:

"Для QR-факторизації з поворотом стовпчика або без нього середній максимальний елемент залишкової матриці дорівнює , тоді як для усунення Гаусса - . Це порівняння показує, що елімінація Гаусса м'яко нестабільна , але нестабільність виявляється лише для дуже матричних задач, що вирішуються з низькою точністю. Для більшості практичних проблем усунення Гаусса в середньому дуже стабільне ". (Наголос) $O(n^{1/2})$ $O(n)$
"Після перших кількох етапів усунення Гаусса решта елементів матриці приблизно нормально розподіляються, незалежно від того, чи почали вони таким чином."

У роботі є набагато більше, що я не можу тут зафіксувати, включаючи обговорення найгіршої матриці, яку ви згадали, тому настійно рекомендую прочитати її.

Продуктивність

Для квадратних речових матриць, LU з частковою повороту потрібно приблизно провалів, тоді як Хаусхолдера на основі QR - потрібно приблизно провалів. Таким чином, для досить великих квадратних матриць QR-факторизація буде лише приблизно вдвічі дорожчою, ніж LU-факторизація. $2/3 n^3$ $4/3 n^3$

Для матриць, де , LU з частковим поворотом вимагає флопа, по порівнянні з QR - х (який по - , як і раніше вдвічі більше , ніж LU факторизации). Однак , напрочуд часто зустрічаються програми, які створюють дуже високі вузькі матриці ( ), і Demmel et al. мати гарний документ, спілкування, що уникає паралельної та послідовної QR-факторизації $m \times n$ $m \ge n$ $mn^2 - n^3/3$ $2mn^2 - 2n^3/3$ $m \gg n$ , в якому (у розділі 4) обговорюється розумний алгоритм, який вимагає надсилання повідомлень лише тоді, коли використовуються процесори , порівняно з повідомленнями традиційних підходів. Витрата полягає в тому, що виконуються додаткові флопи, але для дуже малих це часто надається перевагу вартості затримки надсилання більше повідомлень (принаймні, коли потрібно виконати лише одну QR-факторизацію). $\log p$ $p$ $n \log p$ $O(n^3 \log p)$ $n$

— Джек Поульсон
джерело

10

Я здивований, що ніхто не згадав про найменші лінійні проблеми квадратів , які часто трапляються в наукових обчисленнях. Якщо ви хочете скористатися гауссовою елімінацією, вам слід сформувати та вирішити звичайні рівняння, які виглядають так:

A^{T} A x = A^{T} b,

$A^{T}Ax = A^{T}b,$

де - матриця точок даних, що відповідає спостереженням незалежних змінних, - вектор параметрів, який слід знайти, а - вектор точок даних, що відповідає спостереженням залежної змінної. $A$ $x$ $b$

Як часто зазначає Джек Поульсон, число умови є квадратом числа умови , тому нормальні рівняння можуть бути катастрофічно поганими. У таких випадках, хоча підходи на основі QR- та SVD повільніші, вони дають набагато точніші результати. $A^{T}A$ $A$

— Джефф Оксберрі
джерело

2

Upvoted, але QR має бути на самому ділі на одному рівні з LU , якщо ви вважаєте , непотрібну г

операції , необхідні для формування

(QR вимагає тільки

більш плюхається , ніж LU). Підхід SVD все-таки повинен бути повільнішим (можна вважати його вартість приблизно

).

n^{3}

$n^3$

A^{H} A

$A^H A$

2 / 3 n^{3}

$2/3 n^3$

6 n^{3}

$6n^3$

— Джек Поульсон

1

Окрім стійкості, гарантованої використанням ортогональних перетворень, великою перевагою SVD є те, що декомпозиція забезпечує перевірку власного стану, оскільки відношення найбільшого до найменшого сингулярного значення є саме (2-нормним) числом умови. Для інших декомпозицій використання оцінювача умови (наприклад, Хагер-Хігхем) є, хоча і не таким дорогим, як власне розкладання, дещо "зачеплено".

— JM

1

@JackPoulson Тільки з цікавості, чи є у вас посилання на ваш флоп-кількість для SVD? З того, що я можу сказати з швидкого огляду в Golub & Van Loan (стор. 254 3-го видання), константа здасться вищою для використання SVD для вирішення проблем з найменшими квадратами, але я можу помилитися. Заздалегідь спасибі.

— ОскарБ

1

8 / 3 n^{3}

$8/3 n^3$

A = F B G^{H}

$A=FBG^H$

C

$C$

B = U Σ V^{H}

$B=U\Sigma V^H$

x := (G (V (i n v (Σ) (U^{H} (F^{H} b)))))

$x := (G (V (\mathrm{inv}(\Sigma) (U^H (F^H b)))))$

O (n^{2})

$O(n^2)$

C

$C$

O (n^{2})

$O(n^2)$

1

\frac{σ_{1}}{σ_{n}}

$\frac{\sigma_1}{\sigma_n}$

3

Як ви вимірюєте ефективність? Швидкість? Точність? Стабільність? Швидкий тест у Matlab дає наступне:

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

Таким чином, розв'язання однієї системи з LU-розкладанням приблизно втричі швидше, ніж розв’язання її за допомогою QR-декомпозиції за вартістю половини десяткової цифри точності (цей приклад!).

— Педро
джерело

Будь-яке із запропонованих вами достоїнств вітається.

— faleichik

3

Стаття, яку ви цитуєте, захищає Гауссова елімінація, кажучи, що, хоча вона є чисельною нестабільністю, вона, як правило, добре працює на випадкових матрицях, і оскільки більшість матриць, про які можна думати, схожі на випадкові матриці, у нас повинно бути гаразд. Це ж твердження можна сказати про безліч нестабільних методів.

Розглянемо простір усіх матриць. Ці методи прекрасно працюють майже скрізь. Тобто 99,999 ...% усіх матриць, які можна створити, не матиме проблем із нестабільними методами. Існує лише дуже мала частка матриць, з якою GE та інші матимуть труднощі.

Проблеми, які хвилюють дослідників, як правило, полягають у тій невеликій частці.

Ми не будуємо матриці випадковим чином. Ми будуємо матриці з дуже особливими властивостями, які відповідають дуже спеціальним, невипадковим системам. Ці матриці часто є умовними.

Геометрично ви можете розглянути лінійний простір усіх матриць. Через цей простір існує підпростір нуля об'єм / міра сингулярних матриць. Багато проблем, які ми будуємо, згруповані навколо цього підпростору. Вони не розподіляються випадковим чином.

Як приклад розглянемо рівняння або дисперсію тепла. Ці системи, як правило, видаляють інформацію із системи (усі початкові стани тяжіють до єдиного кінцевого стану), і в результаті матриці, що описують ці рівняння, надзвичайно одиничні. Цей процес є малоймовірним у випадковій ситуації, але є всюдисущим у фізичних системах.

— MRocklin
джерело

2

Якщо лінійна система спочатку не обумовлена, то незалежно від того, який метод ви використовуєте: розкладання LU і QR дасть неточні результати. QR може виграти лише у випадках, коли процес усунення Гаусса "псує" хорошу матрицю. Основне питання полягає в тому, що практичні випадки такої поведінки не відомі.

— faleichik

Для більшості наукових застосувань ми, як правило, отримуємо матриці, які є рідкісними, симетричними, позитивно визначеними та / або діагонально домінуючими. За дуже малим винятком, в матриці є структура, яка дозволяє нам використовувати певні методики щодо традиційного гауссового усунення.

— Пол

@Paul: З іншого боку, щільне усунення Гаусса - це те, де більшість часу проводиться в мультифронтальному методі для розріджених несиметричних матриць.

— Джек Поульсон

6

@Paul Просто не вірно, що "більшість програм створюють SPD / діагонально домінуючі матриці". Так, зазвичай існує якась структура експлуатації, але несиметричні та невизначені проблеми надзвичайно поширені.

— Джед Браун

4

"За п’ятдесят років обчислень жодних матричних проблем, які викликають вибухову нестабільність, не відомо, що виникли в природних умовах". - Л.Н. Трефефен та Д. Бау Вони дають цікавий імовірнісний аналіз у своїй книзі.

— JM