Поясніть, як `eigen` допомагає інвертувати матрицю

Моє запитання стосується техніки обчислень, що експлуатується в geoR:::.negloglik.GRFабо geoR:::solve.geoR.

У налаштуваннях лінійної змішаної моделі: де і - фіксовані та випадкові ефекти відповідно. Такожβ b Σ = cov ( Y

$$Y=X\beta+Zb+e$$ $\beta$$b$$\Sigma=\text{cov}(Y)$

Оцінюючи ефекти, виникає потреба в обчисленні що зазвичай можна зробити, використовуючи щось на зразок , але іноді майже незворотний, тому використовуйте трюк( X ′ Σ - 1 X

$$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$$ solve(XtS_invX,XtS_invY)$(X'\Sigma^{-1}X)$geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

(можна побачити в geoR:::.negloglik.GRFі geoR:::.solve.geoR), що означає розкладання де і тому

$$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ $$ $\Lambda'=\Lambda^{-1}$ $$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$$

Два питання:

1. Яким чином цей власний розпад допомагає інвертувати ?$(X'\Sigma^{-1}X)$
2. Чи існують інші життєздатні альтернативи (які є надійними та стабільними)? (наприклад, qr.solveабо chol2inv?)

1) Ейгендекомпозиція насправді не дуже допомагає. Це, безумовно, більш стабільно чисельно, ніж факторизація Чолеського, що корисно, якщо ваша матриця погано обумовлена ​​/ майже сингулярна / має високий номер умови. Таким чином , ви можете використовувати eigendecomposition і це дасть вам А рішення вашої проблеми. Але мало гарантій, що це буде ПРАВИЛЬНЕ рішення. Чесно кажучи, щойно явно ви інвертуєте , шкода вже зроблена. Формування просто погіршує справи. Ейгендекомпозиція допоможе вам виграти битву, але війна, безумовно, програна.$\Sigma$$X^T \Sigma^{-1} X$

2) Не знаючи специфіки вашої проблеми, це я би робив. По- перше, виконати розкладання Холецкого на , так що . Потім виконайте QR-факторизацію на щоб . Будь ласка , переконайтеся , що обчислювальний з допомогою прямої підстановки - DO NOT явно інвертного . Тоді ви отримуєте: Звідси ви можете вирішити будь-яку потрібну вам праву частину. Але знову ж таки,$\Sigma$$\Sigma = L L^T$$L^{-1} X$$L^{-1} X = QR$$L^{-1} X$$L$

$$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$$ $R$(або ). Використовуйте заміну вперед та назад.$R^T R$

До речі, мені цікаво праворуч вашого рівняння. Ви писали , що це . Ви впевнені, що це не ? Бо якби це було, ви можете скористатися подібним трюком з правого боку: І тоді ви можете доставити переворот, коли ви вирішите вирішити для : $X^T \Sigma Y$$X^T \Sigma^{-1} Y$ β X T Σ - 1 X β = X T Σ - 1 Y R T R β = R T Q T L - 1 Y R β = Q T L - 1 Y β = R - 1 Q T L - 1 Y

$$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$$ $\beta$ $$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$$ $R$для завершального кроку, правда? Це просто відстала заміна. :-)