Чи добре відомо, що деякі проблеми оптимізації еквівалентні тимчасовим крокам?

Враховуючи потрібний стан та параметр регуляризації , розглянемо задачу пошуку стану та елемента керування u, щоб мінімізувати функціонал \ begin {рівняння} \ frac {1} {2} \ | y - y_0 \ | ^ 2 + \ frac {\ beta} {2} \ | u \ | ^ 2 \ end {рівняння} з обмеженням \ begin {рівняння} Ay = u. \ end {рівняння} де для простоти можна думати y, y_0, u \ in \ mathbb R ^ n та A \ in \ mathbb R ^ {n \ times n} .$y_0$$\beta \in \mathbb R$$y$$u$

$$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$$ $$\begin{equation} Ay = u. \end{equation}$$ $y, y_0, u \in \mathbb R^n$$A \in \mathbb R^{n \times n}$

Формуючи Лагрангіана, шукаючи стаціонарні точки та усуваючи керування $u$ отримуємо умови першого порядку

$$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$$ Помноживши на $A$ у першому рівнянні та $A^T$ у другому, ми можемо записати нормальні рівняння $$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$$ Ми можемо інтерпретувати їх як одиничні кроки зворотних наближень Ейлера до диференціальних рівнянь $$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$$ за допомогою pseudotimestep $\beta$ .

Моє запитання: Чи відомий цей зв'язок? Чи обговорюється це в стандартних методах лікування або оптимізації часу? (Мені здається, це забезпечує якийсь інтуїтивний зв'язок між ними.)

Ідея здається досить простою, що її треба добре знати, але ні пошук літератури, ні розмова з людьми не дали мені хорошого джерела, де це обговорюється. Найближче, що я знайшов, - це праця О. Шерцера та Дж. Вайхерта (J. Math Imaging Vision 12 (2000), с. 43-63), де йдеться про зв'язок у першому реченні реферату (!), Але не надавати будь-які посилання або досліджувати з'єднання в будь-якій глибині.

В ідеалі я шукаю посилання, яке не тільки констатує з'єднання, але й досліджує деякі наслідки (наприклад, можна уявити, що обумовлює проблему оптимізації дешевим кроком Ейлера вперед).

Як зазначав Джед Браун, зв'язок між спусками градієнта в нелінійній оптимізації та часовим кроком динамічних систем перекривається з деякою частотою (зрозуміло, оскільки це дуже задовольняє зв'язок з математичним розумом, оскільки він пов'язує два, здавалося б, різні поля). Однак це рідко виявляється корисним зв’язком, особливо в контексті, який ви описуєте.

У зворотних задачах, люди зацікавлені в рішенні (некоректних) операційного рівняння з не в діапазоні . (Ваша оптимальна проблема управління може розглядатися як один її примірник з і .) Деякі стратегії регуляризації (такі як Тихонов або Ландвебер) можна інтерпретувати як єдиний псевдо-час крок певного класу. Тоді ідея полягає у використанні інтерпретації параметра регуляризації як довжини кроку, щоб отримати деякі (адаптивні, апостеріорні) правила вибору параметра - основна проблема в зворотних задачах - і, можливо, зробити кілька кроків псевдо-часу для підходити до справжнього, нерегульованого рішення (подібно доy δ F F = A - 1 y δ = y $F(u)=y^\delta$$y^\delta$$F$$F=A^{-1}$$y^\delta = y_0$числове продовження ). Це іноді називають постійною регуляризацією і зазвичай обговорюється в контексті методів встановлення рівня; див., наприклад, Розділ 6.1 Кальтенбахера, Шерцера, Нойбауера: Методи ітеративної регуляризації нелінійних проблемних проблем (de Gruyter, 2008).

Другий контекст, до якого ця ідея неодноразово - це нелінійна оптимізація: якщо ви подивитесь на крок спуску градієнта для , то ви можете інтерпретувати це як прямий крок Ейлера для динамічної системи Як зазначав Джед Браун, це, на перший погляд, дає лише не дуже дивне спостереження, що цей метод сходиться, за умови, що псевдо-часові кроки є досить малими. Цікава частина виникає, коли ви дивитесь на динамічну систему і запитуєте себе, які властивості має неперервне рішення так званого градієнтного потоку$\min_x f(x)$

$$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$$ $$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$$ $\gamma_k$$x(t)$має (або повинен мати) незалежний від схилу градієнт і чи може це не призвести до більш відповідних методів крокового (та, отже, оптимізації) методів, ніж стандартний Ейлер. Деякі приклади з моєї голови:

1. Чи існує природний функціональний простір, в якому живе градієнтний потік? Якщо так, то ваш градієнтний крок повинен бути зроблений з того самого простору (тобто дискретизація повинна відповідати). Це призводить, наприклад, до обчислення Рис-представлення градієнта відносно різних внутрішніх продуктів (іноді їх називають градієнтами Соболєва ) і, на практиці, до попередньо обумовлених ітерацій, які зближуються набагато швидше.

2. Можливо, має належати не до векторного простору, а до різноманітності (наприклад, симетричних позитивних певних матриць), або градієнтний потік повинен зберігати певну норму . У цьому випадку ви можете спробувати застосувати схеми, що зберігають структуру, що зберігають час (наприклад, із залученням відхилення відносно відповідної групи Lie або геометричного інтегратора).$x$$x$

3. Якщо не є диференційованим, а опуклим, крок Ейлера вперед відповідає методу субградієнтного спуску, який може бути дуже повільним через обмеження розміру кроку. З іншого боку, неявний крок Ейлера відповідає методу проксимальної точки , для якого не застосовуються такі обмеження (і, таким чином, стали дуже популярними в, наприклад, обробці зображень).$f$

4. Аналогічно, такі методи можуть бути значно прискорені етапами екстраполяції. Одним із способів мотивації цього є спостереження за тим, що стандартні методи першого порядку страждають від необхідності робити багато маленьких кроків, близьких до мінімізаторів, оскільки напрямки градієнта "коливаються" (подумайте про стандартну ілюстрацію, чому сполучені градієнти випереджають найкрутіший спуск). Щоб виправити це, можна "заглушити" ітерацію, не розв'язуючи динамічну систему першого порядку, а затухаючу систему другого порядку : для відповідного вибору . При належній дискретизації це призводить до ітерації форми (відомої як метод важкої кулі Поляка ) форми

   $$a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$$ $a_1,a_2$ $$x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$$ (з залежно від ). Подібні ідеї існують і для методів проксимальних точок, див., Наприклад, статтю http://arxiv.org/pdf/1403.3522.pdf Дірка Лоренца та Томаса Пока.a 1 , a $\gamma_k,\alpha_k$$a_1,a_2$

---

(Додам, що, наскільки мені відомо, у більшості випадків інтерпретація як динамічна система не була суворо необхідною для виведення або доказування конвергенції алгоритму; можна стверджувати, що ідеї на кшталт "неявні проти явного" чи похідні Lie насправді є більш фундаментальними, ніж будь-які динамічні системи або методи спуску градієнта. Проте, ніколи не зашкодить мати іншу точку зору, щоб подивитися на проблему.)

---

EDIT: Я просто натрапив на відмінний приклад із другого контексту, де інтерпретація ODE використовується для виведення властивостей екстраградієнтного методу Нестерова та пропонування вдосконалень: http://arxiv.org/pdf/1503.01243.pdf (Зауважте, що це також приклад точки Джеда Брауна, в тому, що автори по суті повторно розкривають точку 4 вище, не маючи відомості про алгоритм Поляка.)

EDIT 2: І як вказівку, як далеко ви можете це взяти, див. Сторінку 5 http://arxiv.org/pdf/1509.03616v1.pdf .

Поки я не бачив точної рецептури, яку ви записали тут, я продовжую бачити розмови, в яких люди "знову виявляють" зв'язок до інтеграції якоїсь перехідної системи, і продовжують записувати алгоритм, який алгебраїчно рівносильний до однієї форми або інший із існуючих градієнтних спусків або метод, схожий на ньютона, і не вдається цитувати когось іншого. Я думаю, що це не дуже корисно, тому що висновок в основному полягає в тому, що "доки ви робите досить малі кроки, метод врешті-решт зближується до локального мінімуму". Що ж, у 2014 році виповнюється 45-річчя праці Філіпа Вулфа, де показано, як це зробити принципово. Існує також хороша теорія отримання q-квадратичної або q-суперлінійної конвергенції з псевдотранзиторного продовження та пов'язаних з ними методів, таких як Левенберг-Маркард.

Якщо ви хочете екземпляр цього повторного розкриття, використовуючи формулу, що нагадує Ньютона, для розв’язання алгебраїчних рівнянь (тобто класичного псевдоперекладного продовження) від математика з більш ніж 600 документами (тому, можливо, він доведе, що вам здається цікавим), подивіться на " Метод динамічних систем »А. Г. Рамма [1].

Якщо інтуїція, здобута при розгляді перехідної системи, призвела до практичних алгоритмів, які були або швидшими, або надійнішими, я думаю, ми побачили б високо цитовані статті з цього питання. Я думаю, що не секрет, що Ноцедал і Райт мають понад 13000 цитат, а в книзі Рамма близько 80 (переважно самоцитування).

[1] Я можу порадити вам не повідомляти проф. Рамму про те, що його DSM є алгебраїчно-еквівалентним тому, що десятиліттями знаходиться в незліченній кількості інженерних пакетів, інакше ви можете кричати з кімнати. #gradstudentmemories

Якщо методи ODE можуть сприяти оптимізації, чи є дійсно простий приклад проблеми, щоб показати це?
Солом’яний чоловік: чи існує вирішувач ODE, який робить розумну роботу на або як пропонує Крістіан Класон для скажімо, функція Розенброка, в 2d або 10d? Якщо це нерозумно, чи хтось має кращу солом’яну людину? (Зауважте, "розумний", а не "конкурентоспроможний найсучаснішим оптимізаторам". Я думаю, що потрібні зменшення розмірів / толерантності кроків, а може бути і жорсткі рішення.)
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \ $
$f$

На практиці "занадто великі" кроки набагато проблематичніші, ніж "занадто малі" - коливання безладні.
Я б наївно подумав, що теорія управління може допомогти. Цифрові рецепти с. 915 описує
PI адаптивний ступінчастий контроль для ODE, але я не знаю, чи це використовується на практиці.