Чи можна розв'язати лінійну систему рівнянь лише для перших кількох змінних?

У мене лінійна система рівнянь розміром mxm, де m велика. Однак змінні, які мене цікавлять, - це лише перші n змінних (n мало в порівнянні з m). Чи є спосіб я наблизити рішення до перших значень m, не потребуючи вирішення всієї системи? Якщо так, чи було б це наближення швидшим, ніж розв’язання повної лінійної системи?

Як зазначали інші, це зробити важко з прямим вирішувачем. Однак це не так вже й складно зробити з ітераційними рішеннями. З цією метою зауважте, що більшість ітеративних вирішувачів так чи інакше мінімізують помилку стосовно певної норми. Часто ця норма або індукується самою матрицею, але іноді вона є також просто нормою вектора l2. Але це не повинно бути так: ви можете вибрати, в якій нормі ви хочете мінімізувати помилку (або залишкову), і ви могли б, наприклад, вибрати норму, в якій ви зважуєте компоненти, які вам важливі, з 1 і всі інші з 1e-12, тобто, наприклад, щось на зразок (1e-24)$|| x ||^2 = \sum_{i=1}^5 x_i^2 +$ та відповідний скалярний добуток. Потім напишіть усі етапи ітеративного вирішувача стосовно цієї норми та скалярного добутку, і ви отримаєте ітеративний розв'язувач, який приділяє значно більше уваги векторним елементам, які вам цікаві, ніж іншим.$\sum_{i=6}^N x_i^2$

Питання, звичайно, полягає в тому, чи потрібно вам менше ітерацій, ніж для норми / скалярного продукту, який зважує всі компоненти однаково. Але це дійсно має бути так: скажімо, ви дбаєте лише про п’ять перших векторних елементів. Тоді вам знадобиться щонайбільше п’ять ітерацій, щоб зменшити помилку в коефіцієнт 1e12, оскільки п’ять ітерацій - це те, що потрібно для системи 5x5, яка їх описує. Це не доказ, але я впевнений, що ви дійсно повинні піти з набагато меншою кількістю ітерацій, якщо вага в нормі (1e-12 вище) менший, ніж допуск, з яким ви хочете ітеративно вирішувати лінійну систему .

Формування доповнення Щура

Припустимо, ви перестановили та розподілили вашу матрицю у формі

таким чином, що містить ваші ступені свободи інтересів і набагато менше, ніж A 11 , тоді можна сформувати доповнення Шура$A_{22}$$A_{11}$

або через часткову правильну LU-факторизацію, або явну формулу, і тоді можна зрозуміти в наступному сенсі:$S_{22}$

де являє собою нецікаву частину рішення. Таким чином, за умови правостороння сторона, яка є лише нульовою в ступенях свободи доповнення Шура S 22 , нам потрібно вирішити лише проти S 22 , щоб отримати частину розчину, відповідну цим ступеням свободи.$\star$$S_{22}$$S_{22}$

Обчислювальна складність у неструктурованому щільному випадку

Установка на висоту А і п до висоти А 22 , то стандартний метод обчислення S 22 є першим фактора L 11 U 11 : = 11 (давайте ігнорувати повороту на даний момент) в приблизно 2 / 3 ( N - п ) 3 роботи, потім сформувати$N$$A$$n$$A_{22}$$S_{22}$$L_{11} U_{11} := A_{11}$$2/3 (N-n)^3$

з використанням двох трикутників, що вимагають працювати кожен, а потім виконувати оновлення до A 22 у 2 n 2 ( N - n ) роботі.$n(N-n)^2$$A_{22}$$2n^2 (N-n)$

Таким чином, загальна робота приблизно . При п дуже мала, N - п ≈ Н , так що вартість може бути видно, що приблизно 2 / 3 Н 3 , який є вартість повного розкладання.$2/3 (N-n)^3 + 2n(N-n)^2 + 2n^2 (N-n)$$n$$N-n \approx N$$2/3 N^3$

Перевага полягає в тому, що якщо існує дуже велика кількість правої сторони, яку слід вирішити за допомогою однієї і тієї ж системи рівнянь, потенційно може бути використана у великій кількості разів, коли для кожного рішення потрібно буде лише 2 n 2 роботи (а не 2 N 2 працює), якщо S 22 враховується.$S_{22}$$2n^2$$2N^2$$S_{22}$

Обчислювальна складність у (типовому) рідкісному випадку

Якщо ваша розріджена система виникла з якихось типів кінцевих різниць або наближення кінцевих елементів, то розріджені прямі розв'язувачі майже напевно зможуть використовувати частину структури; 2d системи можуть бути вирішені за допомогою роботи та O ( N журнал N ) зберігання, в той час як 3D - системи можуть бути вирішені за допомогою O ( N 2 ) роботи та O ( N 4 / 3 ) для зберігання. Системи з фактом можуть бути вирішені таким же обсягом роботи, що і вимоги щодо зберігання.$O(N^{3/2})$$O(N \log N)$$O(N^2)$$O(N^{4/3})$

Суть виведення обчислювальної складності полягає в тому, що якщо і у вас є система 2d, то, оскільки доповнення Шура, ймовірно, буде щільним, складність розв язання з урахуванням фактично складеного доповнення Шура будеO(n2)=O(N), якому не вистачає лише логарифмічного коефіцієнта проти вирішення повного система! У 3d, вона вимагаєO(N)роботу замістьO(N 4 / 3 ).$n \approx \sqrt{N}$$O(n^2) = O(N)$$O(N)$$O(N^{4/3})$

Тому важливо пам’ятати, що у вашому випадку, коли , значні заощадження будуть лише в тому випадку, якщо ви працюєте в декількох вимірах і матимете багато правого боку для вирішення.$n=\sqrt{N}$

Підхід до скорочення моделі

$\mathbf{P}$$\mathbf{P}$$\mathcal{R}(\mathbf{P})$$\mathbf{Ax} = \mathbf{b}$, and has dimension $k$, where $k$ is the number of unknowns for which you wish to solve in a linear system.

A singular value decomposition of $\mathbf{P}$ will yield the following partitioned matrix:

The matrices obscured by stars matter for other things (like estimating error, etc.), but for now, we'll avoid dealing with extraneous details. It follows that

is a full rank decomposition of $\mathbf{P}$.

Essentially, you'll solve the system

in a clever way, because $\mathbf{V}$ and $\mathbf{W}$ also have the property that $\mathbf{W}^{T}\mathbf{V} = \mathbf{I}$. Multiplying both sides of $\mathbf{PAx} = \mathbf{Pb}$ by $\mathbf{W}^{T}$ and letting $\mathbf{y} = \mathbf{V}\widehat{\mathbf{x}}$ be an approximation for $\mathbf{x}$ yields

Solve for $\widehat{\mathbf{x}}$, premultiply it by $\mathbf{V}$, and you have $\mathbf{y}$, your approximation for $\mathbf{x}$.

Why the Schur complement approach is probably better

For starters, you have to pick $\mathbf{P}$ somehow. If the solution to $\mathbf{Ax} = \mathbf{b}$ is in $\mathcal{R}(\mathbf{P})$, then $\mathbf{y} = \mathbf{x}$, and $\mathbf{y}$ isn't an approximation. Otherwise, $\mathbf{y} \neq \mathbf{x}$, and you introduce some approximation error. This approach doesn't really leverage at all the structure you mentioned wanting to exploit. If we pick $\mathbf{P}$ such that its range is the standard unit basis in the coordinates of $\mathbf{x}$ you want to calculate, the corresponding coordinates of $\mathbf{y}$ will have errors in them. It's not clear how you'd want to pick $\mathbf{P}$. You could use an SVD of $\mathbf{A}$, for instance, and select $\mathbf{P}$ to be the product of the first $k$ left singular vectors of $\mathbf{A}$ and the adjoint of the first $k$ right singular vectors of $\mathbf{A}$, assuming that singular vectors are arranged in decreasing order of singular value. This choice of projector would be equivalent to performing proper orthogonal decomposition on $\mathbf{A}$, and it would minimize the L$_{2}$-error in the approximate solution.

In addition to introducing approximation errors, this approach also introduces three extra matrix multiplies on top of the linear solve of the smaller system and the work needed to calculate $\mathbf{V}$, and $\mathbf{W}$. Unless you're solving the same linear system a lot, only changing the right hand side, and $\mathbf{P}$ is still a "good" projection matrix for all of those systems, those extra costs will probably make solving the reduced system more expensive than solving your original system.

The drawbacks are much like JackPoulson's approach, except that you're not quite leveraging the structure that you mentioned.

The long answer is...sort of.

You can re-arrange your system of equations such that the farthest right $k$ columns are the variables which you wish to solve for.

Step 1: Perform Gaussian Elimination so that the matrix is upper triangular. Step 2: solve by back substitution for only the first (last) $k$ variables which you are interested in

This will save you the computational complexity of having to solve for the last $n-k$ variables via back-substitution, which could be worth it if $n$ is as large as you say. Keep in mind that a fair amount of work will still have to be done for step 1.

Also, keep in mind that restricting the order in which you are going to perform back-substituion may restrict the form of the matrix (it takes away the ability to exchange columns) which could possibly lead to an ill conditioned system, but I am not sure about that - just something to keep in mind.