Розуміння "швидкості конвергенції" для ітеративних методів

Згідно з Вікіпедією, швидкість конвергенції виражається як специфічне співвідношення векторних норм. Я намагаюся зрозуміти різницю між "лінійними" та "квадратичними" темпами в різні моменти часу (в основному, "на початку" ітерації та "в кінці"). Чи можна констатувати, що:

• при лінійній збіжності норма помилки ітерату обмежена$e_{k+1}$$x_{k+1}$$\|e_k\|$

• при квадратичному зближенні норма помилки $e_{k+1}$ ітерату $x_{k+1}$ обмежена $\|e_k\|^2$

Таке трактування означало б, що при кількох (невеликій кількості) ітератів лінійно-конвергентного алгоритму А1 (передбачається випадкова ініціалізація) буде досягнута менша помилка, що за допомогою декількох ітератів квадратичного конвергентного алгоритму А2. Однак, оскільки помилка зменшується і внаслідок квадратування, пізніші ітерації означатимуть меншу помилку з A2.

Чи наведена вище трактування? Зауважте, що він не враховує коефіцієнт швидкості $\lambda$ .

На практиці так. Поки все ще великий, коефіцієнт швидкості буде домінувати над помилкою, а не швидкістю q. (Зауважте, що це асимптотичні показники, тому висловлювання, з якими ви посилаєтеся, мають обмеження лише як .) λ k → $e_k$$\lambda$$k\to\infty$

Наприклад, для методів першого замовлення в оптимізації ви часто спостерігаєте швидке зниження помилок, яке потім вирівнюється. Для методу Ньютона, з іншого боку, може пройти деякий час, перш ніж наступить надлінійна (або квадратична) конвергенція (зрештою, лише локально суперлінійно збіжна). З цієї причини зазвичай починати з декількох кроків градієнта, щоб розпочати роботу перед переходом на метод Ньютона, або використовувати методи гомотопії або квазі-Ньютона, які поводяться спочатку як методи першого порядку, і перетворюються на метод Ньютона під час наближення до цільовий.

Окрім відповіді Крістіана, також варто відзначити, що для лінійної конвергенції у вас є де у вас є якщо метод сходиться. З іншого боку, для квадратичної збіжності у вас є і той факт , що метод сходиться не обов'язково означає , що повинен бути менше одиниці. Швидше, умовою конвергенції є те, щоλ 1 < 1 e k + 1 ≤ λ 2 e 2 k λ 2 λ 2 e 1 < $e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- тобто, що ваша початкова здогадка є досить близькою. Це зазвичай спостерігається поведінка: що квадратично збіжні алгоритми потрібно запускати «досить близько» від рішення для зближення, тоді як лінійно-конвергентні алгоритми, як правило, більш надійні. Це ще одна причина, чому часто починається з декількох кроків алгоритму лінійної конвергенції (наприклад, найбільш стрімкого методу спуску) перед переходом на більш ефективні (наприклад, метод Ньютона).

Тлумачення якісно правильне.

Зауважимо, що лінійна та квадратична конвергенція відносяться до найгіршого випадку, ситуація в конкретному алгоритмі може бути кращою, ніж те, що ви отримуєте з аналізу найгіршого випадку, який дав Вольфганг Бангерт, хоча якісний стан зазвичай відповідає цьому аналізу.

У конкретних алгоритмах (наприклад, в оптимізації) часто має сенс спочатку ітератувати дешевим, але лише лінійно конвергентним методом, поки прогрес не сповільниться, а потім закінчити квадратичним (або принаймні надлінійним) конвергентним методом. На практиці надлінійна конвергенція, як правило, така ж хороша, як і квадратична конвергенція лише тому, що початкова, повільно збіжна частина має тенденцію домінувати в загальній роботі.