Чи можна вирішити діагоналі плюс нерухомі симетричні лінійні системи в квадратичний час після попереднього обчислення?

21

Чи існує метод $O(n^3+n^2 k)$ для розв’язування $k$ лінійних систем вигляду $(D_i + A) x_i = b_i$ де є фіксованою матрицею SPD, а - матрицями з позитивною діагоналлю? $A$ $D_i$

Наприклад, якщо кожен є скаляром, досить обчислити СВД з . Однак це руйнується для загального через відсутність комутативності. $D_i$ $A$ $D$

Оновлення : відповіді поки що "ні". У когось є якась цікава інтуїція, чому? Немає відповіді означає, що не існує нетривіального способу стиснення інформації між двома операторами, що не мають комунікацій. Це не страшно дивно, але було б чудово зрозуміти це краще.

— Джеффрі Ірвінг
джерело

SPD = напівпозитивний визначений?

— rcollyer

Так, хоч проблема по суті однакова без SPD. Я додав це обмеження лише для того, щоб системи ніколи не були єдиними.

— Джеффрі Ірвінг

19

Найближчі позитивні відповіді на ваше запитання, які я міг би знайти, - це рідкісні діагональні збурення (див. Нижче).

Зважаючи на це, я не знаю жодного алгоритму для загального випадку, хоча є узагальнення методики, яку ви згадали для скалярних зрушень з матриць SPD на всі квадратні матриці:

Враховуючи будь-яку квадратну матрицю , існує розклад Шура , де є єдиним, а - верхнім трикутним, а забезпечує розкладання Шура $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ . Таким чином, ваша ідея попереднього обчислення поширюється на всі квадратні матриці за допомогою алгоритму: $A + \sigma I$

Обчисліть щонайбільше $[U,T]=\mathrm{schur}(A)$ роботи. $\mathcal{O}(n^3)$
Розв’яжіть кожен через в $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ (середня інверсія - це просто заміна назад). $\mathcal{O}(n^2)$

Цей рядок міркувань зводиться до підходу, який ви згадали, коли є SPD, оскільки розкладання Шура зводиться до EVD для нормальних матриць, а EVD збігається з SVD для ермітових позитивних певних матриць. $A$

Відповідь на оновлення: Поки я не маю доказів, яких не маю, я відмовляюся стверджувати, що відповідь - «ні». Однак я можу дати деяку думку про те, чому це важко, а також інший підзаголовок, де відповідь - так.

Основна складність полягає в тому, що, хоча оновлення є діагональним, воно все ще є загальним повним рангом, тому основний інструмент оновлення оберненої, формула Шермана-Моррісона-Вудбері , схоже, не допомагає. Хоча випадок скалярного зсуву також є повноцінним, це надзвичайно особливий випадок, оскільки він спілкується з кожною матрицею, як ви вже згадували.

З урахуванням сказаного, якщо кожен був розрідженим, тобто кожен з них мав ненулі, то формула Шермана-Моррісона-Вудбері виводить рішення з кожною парою . Наприклад, з одиничним ненульовим позначкою на му діагональному вході, так що : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

де - $e_j$ $j$ й стандартний базовий вектор .

Ще одне оновлення: я мушу зазначити, що я спробував попередній кондиціонер який @GeoffOxberry запропонував на кількох випадкових матрицях SPD за допомогою PCG, і, можливо, не дивно, здається, це значно зменшить кількість ітерацій, коли невелика, але не тоді, коли вона дорівнює або більше. $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— Джек Поульсон
джерело

12

Якщо є діагонально домінуючим для кожного , то недавня робота Кутіса, Міллера та Пенга (див. Веб-сайт Кутіса для роботи над симетричними діагонально домінуючими матрицями) може бути використана для вирішення кожної системи в час (фактично час, де - максимальна кількість ненульових записів у всіх $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ , щоб ви могли також скористатися рідкістю). Тоді, загальний час роботи буде , що краще, ніжпідхід для вирішення кожної системи наївно, використовуючи щільну лінійну алгебру, але трохи гірше, ніж квадратичний час виконання прошу. $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

Значна розрідженість у для всіх могла бути використана розрідженими розв'язниками, щоб отримати алгоритм , але я здогадуюсь, що якби у вас була значна розрідженість, то ви б це згадали. $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

Ви також можете використовувати як попередній умова для вирішення кожної системи за допомогою ітеративних методів, і подивіться, як це відбувається. $A^{-1}$

Відповідь на оновлення : @JackPaulson відзначає велику точку зору чисельної лінійної алгебри та алгоритмів. Я замість цього зосереджуся на аргументах складності обчислювальної техніки.

Обчислювальна складність рішення лінійних систем та обчислювальна складність множення матриць по суті рівні. (Див алгебраїчних складність теорія .) Якби ви могли знайти алгоритм , який може стиснути інформацію між двома некоммутірующімі операторами ( без урахування позитивної полуопределенной частини) і безпосередньо вирішувати сукупність систем ви пропонуєте в квадратичне час в , то це ймовірно, що ви могли використовувати такий алгоритм, щоб зробити висновки про швидше множення матриці. Важко зрозуміти, як позитивна семідефінітна структура може бути використана в щільному, прямому методі для лінійних систем для зменшення її обчислювальної складності. $n$

Як і @JackPaulson, я не бажаю говорити, що відповідь "ні" без доказів, але враховуючи вищезгадані зв'язки, проблема є дуже складною та представляє цікавий науковий досвід. Найкраще, що ви могли зробити з асимптотичної точки зору, не використовуючи спеціальну структуру, - це вдосконалення алгоритму Копперсміта та Винограда, даючи алгоритм , де . Цей алгоритм було б важко кодувати, і, ймовірно, буде малим для малих матриць, оскільки постійний коефіцієнт, що передує асимптотичній оцінці, ймовірно, величезний відносно усунення Гаусса. $\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— Джефф Оксберрі
джерело

3

Я ще не бачив конкретного твердження про те, де міг би бути кросовер, але кілька поважних джерел заявили, що (проблеми з реалізацією), Coppersmith-Winograd не може перемогти стандартні методи розмірів матриць, які зможуть вписатись у пам'яті найближчим часом (кілька десятиліть). Зважаючи на те, що на поточних верхніх машинах для порівняння Linpack потрібен більше доби, не представляється ймовірним, що Coppersmith-Winograd коли-небудь використовуватимуться на практиці. Strassen насправді практичний для великих проблем, хоча він є менш меншим числовим стабільним.

— Джед Браун

Це мене не дивує. +1 для детальної інформації про реалізацію.

— Джефф Оксберрі

6

$A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

Якщо зсув у попередньому кондиціонері набагато більший, ніж в операторі, цей метод має тенденцію створювати число умови приблизно вдвічі від попереднього кондиціонування відхиленим оператором (у випадкових тестах, які я виконував, це може бути кращим чи гіршим для конкретного класу матриці). Цей коефіцієнт 2 у кількості умови дає коефіцієнт в ітераційному рахунку. Якщо у вартості ітерації переважають розв'язки з , то це не є достатнім фактором для виправдання розширення Тейлора першого порядку. Якщо застосування матриці пропорційно дороге (наприклад, у вас є лише недорогий застосувати попередній кондиціонер для ), цей метод першого замовлення може мати сенс. $\sqrt 2$ $A+D$ $A+D$

— Джед Браун
джерело