Інтуїтивна мотивація для оновлення BFGS

Я викладаю заняття з чисельного аналізу та шукаю мотивацію для методу BFGS для студентів з обмеженим досвідом та інтуїцією в оптимізації!

$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$ $J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

Виведення оновлень BFGS здається набагато більш затятими та мутними! Зокрема, я хотів би не вважати апріорі, що оновлення повинно бути ранг-2 або приймати певну форму. Чи існує коротка варіативно мотивація оновлення BESG Hessian, як у Бройдена?

optimization iterative-method nonlinear-programming

— Джастін Соломон
джерело

Якщо ви дозволите довільне оновлення, то ви можете просто використовувати повний гессіан у методі Ньютона. Однією з основних обчислювальних переваг оновлення низького рангу є те, що воно дозволяє дуже швидко оновлювати факторизацію приблизної Гессі.

— Брайан Борчерс

Виведення BFGS є більш інтуїтивним, якщо враховувати (строго) опуклі функціонали витрат:

f (х) \to \underset{х \in R^{н}}{хв} .

$f(x) \to \min_{x\in \mathbb R^n}.$

x_{k}

$x_k$

f

$f$

f (х_{к} + p) \approx f (х_{к}) + \nabla f (х_{к})^{Т} p + \frac{1}{2} p^{Т} Н (х_{к}) p . (*)

$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$

p

$p$

(*)

$(*)$

x_{k + 1} := x_{k} + p

$x_{k+1} := x_k + p$

(*)

$(*)$

p

$p$ "- і встановлення його в нуль дає відношення де - ' Якобій градієнта 'або матриця Гессі.

Н (х_{к}) [х_{к + 1} - х_{к}] = \nabla f (х_{к + 1}) - \nabla f (х_{к}),

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$

H

$H$

Оскільки обчислення та інверсія гессена коштує дорого ...

... коротка відповідь

(пор. оновлення Бройдена), можливо, що оновлення BFGS мінімізує у розумно обраній зваженій нормі Фробеніуса, на тему $H_{k+1}^{-1}$

‖ Н_{к}^{- 1} - Н^{- 1} ‖_{W}

$\|H_k^{-1} - H^{-1}\|_W$

$H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - це те, для чого виходить - і
$H^T = H$ , тому що гессіан симетричний.

Тоді вибір ваги в ~~як зворотна~~ усередненої Гессе , пор. тут для твердження, але без доказів, наводиться формула оновлення (з ). $W$ $\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$ $\alpha_k = 1$

Основні моменти:

Спробуємо наблизити рішення до фактичних витрат рішенням для квадратичного наближення
Розрахунок Гессі та його зворотного коштує дорого. Один віддає перевагу прості оновлення.
Оновлення вибирається оптимальним для зворотного, а не власне гессіанського.
Те, що це оновлення 2-го рангу, є наслідком конкретного вибору ваг у нормі Фробеніуса.

Більш довга відповідь повинна містити, як вибрати ваги, як зробити цю роботу для непопуклих проблем (де з'являється умова кривизни, що вимагає масштабування напрямку пошуку ), і як отримати фактичну формулу оновлення. Посилання тут (німецькою мовою). $p$

— Січ
джерело

W

$W$

W

$W$

Так, правда. Ну, я не знаю. Одна з відповідей полягає в тому, що вона дає просту для обчислення і добре працюючу формулу оновлення. Історично такий підхід до оновлення - мінімізуючи різницю в оновленнях - застосовував Шенно. Рефері (Голдфарб) встановив, що конкретний вибір ваг призводить до формули Бройдена та Флетчера. Дивіться цю кандидатську дисертацію Історичний розвиток сеансового методу BFGS ... для інтуїцій розробників BFGS. Однак усі 3 підходи досить абстрактні.

— січня

Цікаво, дякую за вказівки! Моя поточна реєстрація (з деякими математичними помилками, які потребують допомоги) тут: graphics.stanford.edu/courses/cs205a-13-fall/assets/notes/… (якщо ви хочете отримати кредит за вашу допомогу, я радий надати її - напишіть мені, будь ласка, відповідну контактну інформацію)

— Джастін Соломон

Н (х_{к}) [х_{к + 1} - х_{к}] = \nabla f (х_{к + 1}) - \nabla f (х_{к})

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$

Н (х_{к + 1}) [х_{к + 1} - х_{к}] = \nabla f (х_{к + 1}) - \nabla f (х_{к}) ?

$H(x_{k+1})[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)?$

H_{k + 1} s_{k} = y_{k}

$H_{k+1}s_k =y_k$

s_{k} = x_{k + 1} - x_{k}, y_{k} = \nabla f_{k + 1} - \nabla f_{k}

$s_k=x_{k+1}-x_k, y_k=\nabla f_{k+1}-\nabla f_k$