Швидке обчислення / оцінка лінійної системи низького рангу

Лінійні системи рівнянь поширені в обчислювальній статистиці. Одна зі спеціальних систем, з якими я стикався (наприклад, при факторному аналізі), - це система

A x = b

$Ax=b$

де Тут - діагональна матриця із строго позитивною діагоналлю, - (з ) симетрична позитивна напіввизначена матриця, і є довільною матрицею . Нас пропонують розв’язати діагональну лінійну систему (легку), яку турбує матриця низького рангу. Наївний спосіб вирішити проблему вище - перевернути формулу за допомогою формули Вудбері . Однак це не правильно, оскільки факторизації Холеського та QR зазвичай можуть значно прискорити рішення лінійних систем (і звичайних рівнянь). Нещодавно я придумав

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ наступний документ , який, здається, бере підхід Чолеського, і згадує числову нестабільність інверсії Вудбері. Однак документ здається в чорновій формі, і я не міг знайти чисельних експериментів чи допоміжних досліджень. Який сучасний стан для вирішення описаної нами проблеми?

— веселий
джерело

@gappy, ти розглядав можливість використання декомпозиції QR (або Чолеського) для матриці (середній член у формулі Вудбері)? Решта операцій - це прості множення матриць. Головним джерелом нестабільності є обчислення . Так я підозрюю , що це застосування QR або Cholesky в поєднанні з Вудбері буде швидше , ніж QR по всій матриці . Звичайно, це не мистецтво, а загальні спостереження.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

Я підозрюю, що те, що відстоює Маттіас Зеегер, знаходиться в межах найсучаснішої галузі, він є дуже яскравим персонажем, і подібні питання неодноразово виникають у тих моделях, які він досліджує. Я використовую методи на основі Чолеського з тих же причин. Я підозрюю, що в "Матричних обчисленнях" Голуба та Вана Позики є дискусія, яка є стандартною посиланням для подібних речей (хоча моя копія в руках не маю).

ϵ

$\epsilon$

— Дікран Марсупіал

Зауважте, що, приймаючи ваша проблема еквівалентна вирішенню системи де . Отже, це трохи спрощує проблему. Тепер, дозволяючи , ми знаємо, що є позитивним напіввизначеним з максимум позитивними власними значеннями. Оскільки , знаходження найбільших власних значень та відповідних власних векторів може бути здійснено різними способами. Тоді рішення де дає ейгендекомпозицію

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$ .

— кардинал

Невеликі виправлення: (1) Еквівалентною системою є і (2) Остаточне рішення . (Я опустив перед в обох випадках.) Зауважте, що всі обертання мають діагональні матриці і так тривіальні.

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$

— кардинал

@mpiktas: Я думаю, ви мали на увазі оскільки у написаній вами версії матричний добуток не є чітко визначеним через невідповідність розмірності. :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— кардинал

"Матричні обчислення" від Golub & van Loan детально обговорюються в главі 12.5.1 щодо оновлення QR-кодів та факторів Чолеського після оновлень рангів.

— Фабіан Педрегоса
джерело

Я знаю, і відповідні функції лапака згадуються як у роботі, до якої я пов’язаний, так і в книзі. Мені цікаво, однак, яка найкраща практика для проблеми, а не для загальної проблеми оновлення.

— гаппі