Розуміння вартості суміжного методу для обмеженої оптимізацією pde

Я намагаюся зрозуміти, як працює метод сумісної оптимізації для оптимізації з обмеженою PDE. Зокрема, я намагаюся зрозуміти, чому суміжний метод є більш ефективним для проблем, де кількість змінних конструкцій велика, але "кількість рівнянь невелика".

Що я розумію:

Розглянемо таку проблему оптимізації з обмеженою PDE:

\underset{β}{хв} Я (β, у (β)) с . т . R (у (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

де $I$ - (достатньо безперервна) об'єктивна функція змінних векторного дизайну $\beta$ та вектор польових змінних невідомих $u(\beta)$ які залежать від проектних змінних, а $R(u)$ - залишкова форма PDE.

Зрозуміло, що ми можемо першими варіаціями I і R як

δ Я = \frac{\partial Я}{\partial β} δ β + \frac{\partial Я}{\partial у} δ у

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial у} δ у = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Вводячи вектор множників лагранжу $\lambda$ , варіацію цільової функції можна записати як

δ Я = \frac{\partial Я}{\partial β} δ β + \frac{\partial Я}{\partial у} δ у + λ^{Т} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial у} δ у]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Переставляючи умови, ми можемо написати:

δ Я = [\frac{\partial Я}{\partial β} + λ^{Т} \frac{\partial R}{\partial β}] δ β + [\frac{\partial Я}{\partial у} + λ^{Т} \frac{\partial R}{\partial у}] δ у

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Таким чином, якщо ми можемо вирішити для таке, що $\lambda$

\frac{\partial Я}{\partial у} + λ^{Т} \frac{\partial R}{\partial у} = 0 (суміжне рівняння)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Тоді градієнт оцінюється лише з точки зору змінних конструкцій . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Таким чином, алгоритм оптимізації на основі суміжних даних перетвориться на наступні кроки:

Дані поточні змінні дизайну $\beta$
Розв’яжіть для змінних поля (від PDE) $u$
Розв’яжіть для множників Лагранжа (з суміжного рівняння) $\lambda$
Обчисли градієнти $\frac{\partial I}{\partial \beta}$
Оновити змінні дизайну $\beta$

Моє запитання

Як цей суміжний «трюк» покращує вартість оптимізації за ітерацію у випадку, коли кількість змінних конструкції велика? Я чув, що вартість оцінки градієнта для суміжного методу "не залежить" від кількості змінних конструкцій. Але як саме це правда?

Я впевнений, що є щось дуже очевидне, що я якось оглядаю.

optimization pde

— Пол
джерело

До речі, множник Лагранжа зазвичай додається до об'єктивного функціоналу, а не до варіації; таким чином . Якщо встановити похідну відносно до нуля, вийде суміжне рівняння, і вставляючи це (а рішення рівняння стану ) у похідну відносно дає градієнт. Якщо ви почнете зі слабкої формулювання PDE, все стане ще простішим: просто вставте множник Lagrange замість тестової функції. Ніякої потреби в сильній формі або частковій інтеграції ніде.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Крістіан Класон

Найдорожчою частиною будь-якого моделювання є фаза вирішення. Використовуючи суміжний, ви отримуєте градієнт у двох рішеннях, набагато дешевших порівняно з кінцевими різницями, де вам потрібно принаймні n + 1, а n - кількість вільних параметрів у вашій моделі.

— stali

Відповіді:

Як цей суміжний «трюк» покращує вартість оптимізації за ітерацію у випадку, коли кількість змінних конструкції велика?

Я думаю про вартість з точки зору лінійної алгебри. (Дивіться ці замітки Стівена Дж. Джонсона , які я вважаю більш інтуїтивними, ніж підхід множника Лагранжа). Підхід вперед спрямований на вирішення питань чутливості безпосередньо:

\begin{aligned} \frac{\partial у}{\partial β} = - {(\frac{\partial R}{\partial у})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

що включає розв’язання лінійної системи для кожного параметра у векторі , а потім оцінку $\beta$

\begin{aligned} \frac{г Я}{г β} = \frac{\partial Я}{\partial β} + \frac{\partial Я}{\partial у} \frac{\partial у}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

де позначає загальну похідну, а означає часткову похідну. $\mathrm{d}$ $\partial$

Суміжний підхід зазначає це

\begin{aligned} \frac{г Я}{г β} = \frac{\partial Я}{\partial β} - \frac{\partial Я}{\partial у} {(\frac{\partial R}{\partial у})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

тому суміжна змінна (множник Лагранжа) може бути визначена через $\lambda$

\begin{aligned} - \frac{\partial Я}{\partial у} {(\frac{\partial R}{\partial у})}^{- 1} = λ^{Т}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

що відповідає суміжному рівнянню

\begin{aligned} \frac{\partial Я}{\partial у} + λ^{Т} \frac{\partial R}{\partial у} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Таке перегрупування термінів вимагає лише одного лінійного рішення, а не лінійного рішення для кожного параметра, що робить суміжну оцінку дешевою для багатьох випадків параметрів.

Я чув, що вартість оцінки градієнта для суміжного методу "не залежить" від кількості змінних конструкцій. Але як саме це правда?

Це не зовсім незалежно; імовірно, вартість оцінювання та збільшуватиметься із кількістю параметрів. Однак лінійні розв'язки все одно будуть однакового розміру, доки розмір не зміниться. Припущення полягає в тому, що розв'язки набагато дорожчі, ніж оцінки функцій. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Джефф Оксберрі
джерело

Коротше кажучи, перевага полягає в тому, що для обчислення похідних зменшеної мети вам не потрібно знати похідну стосовно як окремий об'єкт, але лише ту його частину, яка призводить до варіацій . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Дозвольте мені перейти до позначень, які мені трохи зручніше: ( є проектна змінна, - змінна стану, а - об'єктивна). Скажімо, досить приємно, щоб застосувати теорему неявної функції, тому рівняння має унікальне рішення яке постійно диференціюється щодо та похідної задається рішенням ( і є частковими похідними) .

\underset{у, у}{хв} J (у, у) на тему е (у, у) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & е_{у} (у (у), у) у^{'} (у) + е_{у} (у (у), у) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Це означає, що ви можете визначити зменшену ціль , яка також диференціюється (якщо є). Один із способів характеризувати градієнт - це через похідні спрямованості (наприклад, обчислити всі часткові похідні стосовно основи проектного простору). Тут похідна спрямованість у напрямку задається правилом ланцюга як Якщо хороший, єдине складне для обчислення - для заданої . Це можна зробити, помноживши на $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (у; год) = ⟨ J_{у} (у (у), у), у^{'} (у) год ⟩ + ⟨ J_{у} (у (у), у), год ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ праворуч і рішення для (що дозволяє теорема неявної функції), тобто обчислення та підключення цього виразу до . У обмеженій PDE оптимізації це означає вирішення лінеаризованого PDE для кожного базового вектора проектного простору.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [у^{'} (у) год] = е_{у} (у (у), у)^{- 1} [е_{у} (у (у), у) год] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Однак якщо ми знайдемо оператора таким, що то це повинен бути бажаний градієнт. Дивлячись на , ми можемо записати (якщо є суміжним оператором), тому все, що нам потрібно для обчислення, є . Використовуючи це , це можна зробити за допомогою , тобто і встановлення У обмеженій PDE оптимізації $\nabla j$

j^{'} (у; год) = ⟨ \nabla j, год ⟩ за всіх год,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{у} (у (у), у), у^{'} (у) год ⟩ = ⟨ у^{'} (у)^{*} J_{у} (у (у), у), год ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ : = е_{у} (у (у), у)^{- *} J_{у} (у (у), у)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (у) = е_{у} (у (у), у)^{*} λ + J_{у} (у (у), у) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ зазвичай є деяким залишковим, і обчислення включає вирішення єдиного (лінійного) суміжного PDE, незалежного від розмірності проектного простору. (Насправді, це працює навіть для розподілених параметрів, тобто, якщо - функція в деякому нескінченномірному просторі Банаха, де перший підхід неможливий.)

λ

$\lambda$

u

$u$

— Крістіан Класон
джерело