Як оператор зворотної косої лінії MATLAB вирішує для квадратних матриць?

Я порівнював декілька своїх кодів із "запасними" кодами MATLAB. Я здивований результатами.

Я запустив зразок коду (розріджена матриця)

n = 5000;
a = diag(rand(n,1));
b = rand(n,1);
disp('For a\b');
tic;a\b;toc;
disp('For LU');
tic;LULU;toc;
disp('For Conj Grad');
tic;conjgrad(a,b,1e-8);toc;
disp('Inv(A)*B');
tic;inv(a)*b;toc;

Результати:

    For a\b
    Elapsed time is 0.052838 seconds.

    For LU
    Elapsed time is 7.441331 seconds.

    For Conj Grad
    Elapsed time is 3.819182 seconds.

    Inv(A)*B
    Elapsed time is 38.511110 seconds.

Для щільної матриці:

n = 2000;
a = rand(n,n);
b = rand(n,1);
disp('For a\b');
tic;a\b;toc;
disp('For LU');
tic;LULU;toc;
disp('For Conj Grad');
tic;conjgrad(a,b,1e-8);toc;
disp('For INV(A)*B');
tic;inv(a)*b;toc;

Результати:

For a\b
Elapsed time is 0.575926 seconds.

For LU
Elapsed time is 0.654287 seconds.

For Conj Grad
Elapsed time is 9.875896 seconds.

Inv(A)*B
Elapsed time is 1.648074 seconds.

Як чорт \ b такий дивовижний?

У Matlab команда '\' викликає алгоритм, який залежить від структури матриці A і включає перевірки (невеликі накладні витрати) на властивості A.

1. Якщо A є рідким і смуговим, використовуйте смуговий розв'язувач.
2. Якщо A - це верхня або нижня трикутна матриця, використовують алгоритм заміщення назад.
3. Якщо A симетричний і має реальні позитивні діагональні елементи, спробуйте факторизацію Холеського. Якщо A невеликий, спочатку виконайте переупорядкування, щоб мінімізувати заповнення.
4. Якщо жоден із наведених вище критеріїв не виконаний, зробіть загальну трикутну факторизацію, використовуючи гауссова елімінація з частковим поворотом.
5. Якщо A рідкий, використовуйте бібліотеку UMFPACK.
6. Якщо A не квадратний, використовуйте алгоритми, засновані на QR-факторизації для невизначених систем.

Для зменшення накладних витрат можна скористатися командою linsolve в Matlab і вибрати підходящий вирішувач серед цих параметрів самостійно.

Якщо ви хочете побачити, що a\bстосується вашої конкретної матриці, ви можете встановити spparms('spumoni',1)та зрозуміти, який саме алгоритм вас вразив. Наприклад:

spparms('spumoni',1);
A = delsq(numgrid('B',256));
b = rand(size(A,2),1);
mldivide(A,b);  % another way to write A\b

виведе

sp\: bandwidth = 254+1+254.
sp\: is A diagonal? no.
sp\: is band density (0.01) > bandden (0.50) to try banded solver? no.
sp\: is A triangular? no.
sp\: is A morally triangular? no.
sp\: is A a candidate for Cholesky (symmetric, real positive diagonal)? yes.
sp\: is CHOLMOD's symbolic Cholesky factorization (with automatic reordering) successful? yes.
sp\: is CHOLMOD's numeric Cholesky factorization successful? yes.
sp\: is CHOLMOD's triangular solve successful? yes.

тож я можу побачити, що "\" в цьому випадку закінчився використанням "CHOLMOD".

Для розріджених матриць Matlab використовує UMFPACK для \операції " ", яка, у вашому прикладі, в основному проходить через значення a, інвертує їх і помножує їх на значення b. Для цього прикладу, однак, вам слід скористатися b./diag(a), що набагато швидше.

Для щільних систем оператор зворотної косої риски трохи складніше. Короткий опис того , що зроблено , коли дається тут . Згідно з цим описом, у вашому прикладі Matlab вирішив би a\bза допомогою зворотної заміни. Для загальних квадратних матриць використовується LU-розкладання.

Як правило, якщо у вас розріджена матриця розумної складності (тобто, вона не повинна бути 5-кратним трафаретом, але насправді може бути дискретизацією рівнянь Стокса, для яких число ненульових значень у рядку набагато більший, ніж 5), тоді рідкісний прямий вирішувач, такий як UMFPACK, зазвичай перемагає ітеративний вирішувач Крилова, якщо проблема не більша за, можливо, близько 100 000 невідомих.

Іншими словами, для більшості розріджених матриць, що виникають внаслідок 2d дискретизацій, прямий вирішувач є найшвидшою альтернативою. Тільки для 3d-проблем, коли ви швидко отримуєте понад 100 000 невідомих, стає обов'язковим використання ітеративного рішення.