Яка найгірша складність кон'югатного градієнта?

9

Нехай , симетричний і позитивний визначений. Припустимо, для множення вектора на потрібно одиниць роботи . Добре відомо, що для виконання алгоритму CG на з номером умови потрібні , одиниці роботи. $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

Тепер, звичайно, будучи твердженням це верхня межа. І алгоритм CG завжди може закінчуватися нульовими кроками з вдалою початковою здогадкою. $\mathcal{O}$

Чи знаємо ми, чи існує RHS та початковий (невдалий) здогад, який вимагатиме кроків? По-іншому, чи найгірший складний стан роботи CG насправді ? $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

Це питання виникає, коли я намагався визначити, чи користь попереднього кондиціонера (нижча ) перевищує його вартість (вище ). Зараз я працюю з проблемами з іграшками і хотів би мати краще уявлення, перш ніж що-небудь реалізувати компільованою мовою. $\kappa$ $m$

conjugate-gradient

— fred
джерело

5

Можна, мабуть, побудувати песимальну початкову здогадку, запустивши алгоритм CG "назад" і вклавши відповідну енергію в кожен з -ортогональних напрямків пошуку, яким алгоритм вимагає всіх кроків.

A

$A$

— оригімбо

9

Відповідь - це гучне "так". Межа швидкості конвергенції різка над набором симетричних позитивних певних матриць із номером умови . Іншими словами, не знаючи нічого більше про ніж номер його умови, CG дійсно може прийняти ітерації для сходження. Якщо говорити вільно, верхня межа досягається, якщо власне значення рівномірно розподілено (тобто "перцем") протягом інтервалу номера умови . $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ $\sim\sqrt{\kappa}$ $A$ $\kappa$

Ось більш жорстке твердження. Детерміновані версії більше задіяні, але працюють за тими ж принципами.

Теорема (найгірший вибір ). Виберіть будь-яку випадкову ортогональну матрицю , нехай буде реальних чисел, рівномірно відібраних з реального інтервалу , і нехай буде реальних вибіркових чисел iid від стандартного Гаусса. ВизначтеТоді у межі зведені градієнти будуть збігатися з ймовірністю один до точного рішення не менше ітерації. $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Доказ. Стандартний доказ ґрунтується на оптимальних поліноміальних наближеннях Чебишева, використовуючи методи, знайдені в ряді місць, наприклад , книга Грінбаума чи книга Саада .

— Річард Чжан
джерело

1

Межа не є гострою, як пояснюється у відповіді пізніше: Якщо власні значення розподілені не рівномірно, cg зближується швидше, оскільки це не є стаціонарною ітерацією. Таким чином, нам потрібно знати більше про матрицю.

— Гвідо Канщат

@GuidoKanschat: Добре, і я виправив твердження, щоб уточнити, що різкість досягається над усіма з умовою .

A

$A$

κ

$\kappa$

— Річард Чжан

Доказ зводиться до мінімізаціїв просторі поліномів порядку- задовольняють . Рівнозначно це. У зазначеній межі від , а рішення мінімаксної задачі - це поліном Чебішева, помилка якого сходиться як

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— Річард Чжан,

0

Вважаючи це своїм оригінальним запитанням: чи ми знаємо, чи існує RHS та початковий (невдалий) здогад, який вимагатиме кроків ? $\Theta(\sqrt{\kappa})$

Відповідь на питання - «ні». Ідея цієї відповіді походить від коментаря Гвідо Канщата.

Претензія: Для будь-якого заданого числа існує матриця з тим номером умови, для якого алгоритм КГ завершиться щонайбільше двома кроками (для будь-якого заданого РЗС та початкової здогадки). $k$ $A$

Розглянемо де . Тоді номер умови - . Нехай - RHS, а власне значення позначають як де $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Спочатку розглянемо випадок, коли , початкова здогадка, дорівнює нулю. Позначимо як другу оцінку з алгоритму CG. Покажемо, що , показавши . Дійсно, маємо $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

Де ми використовуємо поліном першого порядку визначений як . Тож ми довели випадок для . $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

Якщо , то де - друга оцінка алгоритму CG з заміненою на . Тож ми звели цю справу до попередньої. $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— fred
джерело

Наскільки це надійно для арифметики з обмеженою точністю?

— оригімбо

@origimbo Якщо ваше запитання було спрямовано до мене, відповідь: "Я не знаю".

— fred