Ітеративний «вирішувач» для

Я не можу уявити, що я першим задумався над наступною проблемою, тому буду задоволений посиланням (але повна, детальна відповідь завжди цінується):

Скажіть, у вас є симетричний позитивний певний $\Sigma \in \mathbb{R}^{n \times n}$. $n$ вважається дуже великим, тому тримається $\Sigma$в пам'яті неможливо. Однак можна оцінити$\Sigma x$, для будь-якого $x \in \mathbb{R}^{n}$. Враховуючи деякі$x \in \mathbb{R}^{n}$, ви хочете знайти $x^t\Sigma^{-1}x$.

Перше рішення, яке спадає на думку, - це знайти $\Sigma^{-1}x$використовуючи (скажімо) сполучені градієнти. Однак це здається дещо марнотратним - ви шукаєте скаляра, і в процесі ви виявляєте гігантський вектор$\mathbb{R}^{n}$. Здається, має більше сенсу придумати метод обчислення скаляра безпосередньо (тобто, не проходячи через$\Sigma^{-1}x$). Я шукаю такий спосіб.

Я не думаю, що я чув про будь-який метод, який робить те, що ви хочете, а не реально вирішувати $y=\Sigma^{-1}x$.

Єдиною альтернативою, яку я можу запропонувати, є те, якщо ви знали щось про власні вектори та значення $\Sigma$. Скажіть, ви знали, що вони є$\lambda_i,v_i$, то ви можете представляти $\Sigma=V^T L V$ де стовпці $V$ є $v_i$, і $L$є діагональною матрицею з власними значеннями по діагоналі. Отже, у вас це є$\Sigma^{-1}=V^T L^{-1} V$ і ти це отримуєш

$$x^T \Sigma^{-1} x = x^T V^T L^{-1} V x = \sum_i \lambda_i^{-1} (v_i^T x)^2.$$ Звичайно, це вимагає від вас збереження всіх власних значень, тобто повної матриці$V$. Але, якщо вам трапилось знати, що лише деякі власні значення Росії$\Sigma$ маленькі, скажімо перші $m$, а решта настільки велика, що можна нехтувати всіма термінами $\lambda^{-1}_i$ для $i>m$, то ви можете наблизитись $$x^T \Sigma^{-1} x = \sum_{i=1}^n \lambda_i^{-1} (v_i^T x)^2 \approx \sum_{i=1}^m \lambda_i^{-1} (v_i^T x)^2.$$ Це вимагає лише зберігання $m$ вектори, а не всі $n$ власних векторів.

Звичайно, на практиці часто обчислювати власні значення та власні вектори настільки ж рівномірно або складніше, порівняно з просто вирішенням $y=\Sigma^{-1}x$ кілька разів.