Маючи справу з інверсією позитивної певної симетричної (коваріантної) матриці?

27

У статистиці та різних її застосуваннях ми часто обчислюємо матрицю коваріації , яка є позитивно визначеною (у розглянутих випадках) та симетричною для різних цілей. Іноді нам потрібна інверсія цієї матриці для різних обчислень (квадратичні форми з цією оберненою, наприклад, (єдиною) центральною матрицею). Враховуючи якості цієї матриці та цільове використання, мені цікаво:

Який найкращий з точки зору чисельної стійкості спосіб обчислити або використовувати (скажімо, для квадратичних форм або множення матричного вектора взагалі) цей обернений? Якась факторизація, яка може стати у нагоді?

linear-algebra matrix

— Бенджамін Альовій
джерело

14

Факторизація Холеського призводить до Чолескоподібної факторизації оберненої з верхньою трикутною матрицею . $C=R^TR$ $C^{-1}=SS^T$ $S=R^{-1}$

На практиці найкраще тримати зворотний фактор. Якщо є рідким, то, як правило, ще краще зберегти неявним, оскільки матричні векторні продукти можна обчислити, розв’язавши дві трикутні системи і . $R$ $S$ $y=C^{-1}x$ $R^Tz=x$ $Ry=z$

— Арнольд Ноймаєр
джерело

25

Факторизація Чолеського має найбільше значення для найкращої стабільності та швидкості, коли ви працюєте з коваріаційною матрицею, оскільки матриця коваріації буде позитивною напіввизначеною симетричною матрицею. Чолеський тут природний. АЛЕ ...

Якщо ви маєте намір обчислити факторинг Чолеського, перш ніж коли-небудь обчислити матрицю коваріації, зробіть собі послугу. Зробіть проблему максимально стійкою, обчисливши QR-факторизацію вашої матриці. (QR-код теж швидкий.) Тобто, якби ви обчислили матрицю коваріації як

C = A^{T} A

$C = A^{T} A$

де було видалено засоби стовпця, то подивіться, що коли ви формуєте , він накреслює номер умови. Таким чином , краще , щоб сформувати QR - фактори , а не в явному вигляді обчислення Холецкого розкладання . $A$ $C$ $A$ $A^{T}A$

A = Q R

$A = QR$

Оскільки Q є ортогональним,

\begin{aligned} С & = (Q R)^{Т} Q R \\ = R^{Т} Q^{Т} Q R \\ = R^{Т} Я R \\ = R^{Т} R \end{aligned}

$\begin{align} C &= (QR)^{T} QR \\ &= R^T Q^T QR \\ &= R^T I R \\ &= R^{T} R \end{align}$

Таким чином , ми отримуємо коефіцієнт Холецкого безпосередньо з QR - розкладу, в формі . Якщо A -Менше QR факторизации доступна, це навіть краще , так як вам не потрібно . A -Менше QR швидка річ , щоб обчислити, так як не генерується. Це стає лише послідовністю перетворень домочадців. (Колонка повертається, -Менше QR логічно бути ще більш стабільним, за рахунок деякої додаткової роботи , щоб вибрати опорні точки.) $R^{T}$ $Q$ $Q$ $Q$ $Q$ $Q$

Великою чеснотою використання QR тут є те, що він є чисельно стійким при неприємних проблемах. Знову ж таки, це тому, що нам ніколи не довелося формувати коваріаційну матрицю безпосередньо для обчислення коефіцієнта Чолеського. Як тільки ви формуєте добуток , ви квадратуєте номер умови матриці. Ефективно ви втрачаєте інформацію в тих частинах тієї матриці, де спочатку було дуже мало інформації для початку. $A^{T}A$

Нарешті, як вказує ще одна відповідь, вам навіть не потрібно обчислювати та зберігати обернену, а використовувати її неявно у вигляді зворотних боків на трикутних системах.

— пентавалентнийвуглець
джерело

5

І якщо вам необхідно оцінити квадратичную форму на основі

, ви можете зробити це стабільно шляхом обчислення

, тобто роблячи одну заміну вперед і приймаючи норму.

C^{- 1}

$C^{-1}$

⟨ x, C^{- 1} x ⟩ = ⟨ x, (R^{T} R)^{- 1} x ⟩ = ‖ R^{- T} x ‖^{2}

$\langle x,C^{-1}x\rangle = \langle x,(R^T R)^{-1}x\rangle = \|R^{-T}x\|^2$

— Крістіан Класон

3

Я зробив це вперше недавно, використовуючи пропозиції математики.

SVD рекомендував більшість, на мій погляд, але я вибрав простоту Чолеського:

Якщо матриця , то я розкладаю на трикутну матрицю використовуючи Чолеського, такий, що . Тоді я використовую заміну або зворотну заміну (залежно від того, вибрав я верхній або нижній трикутний), щоб перевернути , таким чином, щоб у мене був . З цього я можу швидко обчислити . $M = A A^\top$ $M$ $L$ $M = L L^\top$ $L$ $L^{-1}$ $M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top}L^{-1}$

Починати з:

, де відомий і неявно симетричний, а також є позитивно визначеним. $M = A A^\top$ $M$

Холеський факторизація:

, де - квадратний і несингулярний $M \rightarrow L L^\top$ $L$

Зворотна заміна:

, мабуть, найшвидший спосіб інвертувати (не цитуйте мене на цьому) $L \rightarrow L^{-1}$ $L$

Множення:

$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top} L^{-1}$

$L^{-\top}$ $L^{-1}$

Мій алгоритм Чолеського (можливо, з числових рецептів чи Вікіпедії)

$L_i^j = \frac{M_i^j - M_i \cdot M_j}{M_i^i - M_i \cdot M_i}$

Це майже можна зробити на місці (потрібно лише тимчасове зберігання для діагональних елементів, акумулятора та деяких цілих ітераторів).

Мій алгоритм зворотної заміни (з Numerical Recipes, перевірте їх версію, оскільки я, можливо, помилився з розміткою LaTeX)

$\left(L^{-1}\right)_i^j = \left\{\begin{array}{11} 1 / {L_i^i} & \mbox{if } i = j\\ \left(-L_i \cdot \left(L^{-T}\right)_j\right) / L_i^i & \mbox{otherwise} \end{array}\right.$

$L^{-T}$

— Марк К Коуан
джерело

2

Якщо ви знаєте, що матриця має обернену (тобто, якщо вона дійсно є позитивно визначеною), і якщо вона не надто велика, то розкладання Чолеського дає відповідні засоби для характеристики інверсії матриці.

— Вольфганг Бангерт
джерело