Градієнтний спуск і кон'югований градієнтний спуск

Для проекту я повинен реалізувати ці два методи та порівняти, як вони виконують різні функції.

Схоже, метод спряженого градієнта призначений для вирішення систем лінійних рівнянь для

$$A\mathbf{x} = \mathbf{b}$$

Де - це матриця n-by-n, яка є симетричною, позитивно-визначеною та реальною.$A$

З іншого боку, коли я читаю про спуск градієнта, я бачу приклад функції Розенброк , яка є

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

Як я це бачу, я не можу вирішити це методом спряженого градієнта. Або я щось сумую?

Градіантний спуск і метод спряженого градієнта - це обидва алгоритми мінімізації нелінійних функцій, тобто таких функцій, як функція Розенброка

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

або багатоваріантна квадратична функція (в даному випадку з симетричним квадратичним членом)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

Обидва алгоритми також ґрунтуються на ітераційному та пошуковому напрямку. Для решти цієї посади і d будуть векторами довжини n ; f ( x ) і α - скалари, а надписи позначають індекс ітерації. Спуск градієнта та метод спряженого градієнта можна використовувати для пошуку значення x ∗, яке вирішує$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Обидва методи починаються з початкової здогадки, , а потім обчислюють наступну ітерацію, використовуючи функцію форми$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Словами, наступне значення знаходимо, починаючи з поточного місця і переміщуючись у напрямку пошуку на деяку відстань . В обох методах відстань для переміщення може бути знайдена шляхом пошуку рядка (мінімізуйте над ). Також можуть застосовуватися інші критерії. Там, де обидва способи відрізняються, це їх вибір . Для градієнтного методу . Для методу спряженого градієнта використовується процедура Грам-Шмідта для ортогоналізації векторів градієнта. Зокрема, , але тоді дорівнюєx i d i α i f ( x i + α i d i ) α i d i d i = - ∇ f ( x i ) d 0 = - ∇ f ( x 0 ) d 1 - ∇ f ( x 1 ) d 0 ( d 1 ) T d 0 = $x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ мінус проекція вектора на така що . Кожен наступний вектор градієнта ортогоналізований проти всіх попередніх, що призводить до дуже приємних властивостей для квадратичної функції вище.$d^0$$(d^1)^Td^0 = 0$

Вищеназвана квадратична функція (та пов'язані з нею формулювання) також відбувається звідки обговорення розв’язання за допомогою методу спряженого градієнта, оскільки мінімум цього досягається в точці де .f ( x ) x A x = $Ax = b$$f(x)$$x$$Ax = b$

В цьому контексті обидва способи можна розглядати як проблеми мінімізації функції: Коли симетричний, то мінімізовано, коли .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ ϕ A x = $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

Спуск градієнта - це метод, який ітераційно шукає мінімізатор, дивлячись у напрямку градієнта. Кон'югатний градієнт схожий, але вказівки пошуку також повинні бути ортогональними один одному в тому сенсі, що .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$