Чому не оптимізація повинна бути проблемою в оптимізації?

Я дуже здивувався, коли почав читати щось про неопуклу оптимізацію взагалі і побачив такі твердження:

Багато практичних проблем, що мають важливе значення, мають невипуклий характер, і більшість проблем, які не є опуклими, важко (якщо не неможливо) вирішити в розумний час. ( джерело )

або

Взагалі, NP-важко знайти локальний мінімум, і багато алгоритмів можуть застрягти в точці сідла. ( джерело )

Я щодня роблю якусь неопуклу оптимізацію, а саме - розслаблення молекулярної геометрії. Я ніколи не вважав це чимось хитрим, повільним і здатним застрягти. У цьому контексті ми маємо чітко багатовимірні невипуклі поверхні (> 1000 градусів свободи). Ми використовуємо здебільшого методи першого порядку, отримані з найбільш крутого спуску та динамічного гарту, наприклад FIRE , які за кілька сотень кроків сходяться до локального мінімуму (менше кількості DOF). Я очікую, що з додаванням стохастичного шуму він повинен бути міцним як пекло. (Глобальна оптимізація - це інша історія)

Я якось не можу уявити, як повинна виглядати поверхня потенціальної енергії , щоб зробити ці методи оптимізації застряглими або повільно збіжними. Наприклад, дуже патологічна ПЕС (але не обумовлена ​​невипуклістю) - це ця спіраль , але це не така велика проблема. Чи можете ви навести наочний приклад патологічного не опуклого ПЕС?

Тому я не хочу сперечатися з цитатами вище. Швидше, я маю відчуття, що мені чогось тут не вистачає. Можливо, контекст.

Нерозуміння полягає в тому, що являє собою "розв'язання" проблеми оптимізації, наприклад, . Для математиків ця проблема вважається "вирішеною" лише після того, як ми маємо:$\arg\min f(x)$

1. Кандидатське рішення: Конкретний вибір змінної рішення та відповідного об'єктивного значення f ( x ⋆ ) , AND$x^\star$$f(x^\star)$
2. Доказ оптимальності: математичний доказ того, що вибір є глобально оптимальним, тобто f ( x ) ≥ f ( x ⋆ ) має місце для кожного вибору x .$x^\star$$f(x) \ge f(x^\star)$$x$

Коли опуклий, обидва інгредієнта легко отримуються. Спуск градієнта знаходить рішення кандидата x ⋆ , завдяки якому градієнт зникає ∇ f ( x ⋆$f$$x^\star$ . Доказ оптимальності випливає з простого факту, викладеного в MATH101, що якщо f опуклий, а його градієнт ∇ f зникає при x ⋆ , то x ⋆ є глобальним рішенням.$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$$x^\star$

Якщо невипуклий, рішення кандидата все ще може бути легко знайти, але доказ оптимальності стає надзвичайно важким. Наприклад, ми можемо здійснити спуск градієнта і знайти точку ∇ f ( x ⋆$f$ . Але коли f невипуклий, умова ∇ f ( x ) = 0 є необхідною, але вже недостатньою для глобальної оптимальності. Дійсно, це навіть недостатньо длялокальноїоптимальності, тобто ми навіть не можемо гарантувати, що x $\nabla f(x^\star)=0$$f$$\nabla f(x)=0$$x^\star$- локальний мінімум, заснований лише на інформації про градієнт. Один із підходів полягає в перерахуванні всіх точок, що задовольняють , і це може бути грізним завданням навіть за один-два виміри.$\nabla f(x)=0$

Коли математики кажуть, що більшість проблем вирішити неможливо, вони дійсно говорять, що доказ (навіть локальної) оптимальності побудувати неможливо . Але в реальному світі нас часто цікавить лише обчислення "достатньо хорошого" рішення, і це можна знайти нескінченною кількістю способів. Для багатьох проблем, що не мають опуклості, наша інтуїція говорить про те, що "досить добрі" рішення насправді є оптимальними в усьому світі, навіть якщо ми абсолютно не в змозі це довести!

Прикладом хитрої маломірної проблеми може бути:

Зважаючи на те, що ви потрапили на місцеві мінімуми, як ви можете бути впевнені, що це щось наближене до глобальних мінімумів? Як дізнатися, чи є ваш результат унікальним оптимальним рішенням, враховуючи, що він є оптимальним у всьому світі? Як можна створити алгоритм, надійний для всіх пагорбів і долин, щоб він не кудись застряг?

Такий приклад, коли справи можуть скластись складно. Очевидно, не всі проблеми подібні, але деякі є. Найгірше те, що в умовах промисловості функція витрат може забирати багато часу для обчислення ТА мати проблематичну поверхню, як та, яка була вище.

Приклад реальної проблеми

Приклад, з яким я міг би вирішитись на роботі, - це оптимізація алгоритму наведення ракет, який міг би бути надійним при багатьох умовах запуску. Використовуючи наш кластер, я міг отримати необхідні вимірювання продуктивності приблизно за 10 хвилин для однієї умови. Тепер, щоб адекватно судити про надійність, ми хотіли б хоча б зразок умов, щоб судити. Отже, скажімо, ми виконуємо шість умов, а оцінка цієї функції витрат займає одну годину.

Нелінійна динаміка ракет, атмосферна динаміка, дискретні часові процеси тощо призводять до досить нелінійної реакції на зміни алгоритму наведення, що робить оптимізацію важкою для вирішення. Те, що ця витратна функція буде невипуклою, обумовлює той факт, що це забирає багато часу для оцінки великої проблеми. Такий приклад - це те, коли ми б прагнули досягти найкращого, що ми можемо, в той час, який нам дають.

Проблема в тому, що стосується сідлових точок, обговорених у публікації, яку ви пов’язали. З реферату однієї із пов’язаних статей :

Однак загалом важко гарантувати, що такі алгоритми навіть збігаються до локального мінімуму через наявність складних структур точкових сідлин у великих розмірах. Багато функцій мають вироджені точки сідла, так що похідні першого та другого порядку не можуть відрізнити їх із локальними оптимами . У цій роботі ми використовуємо похідні вищого порядку для того, щоб уникнути цих точок сідла: ми розробляємо перший ефективний алгоритм, гарантований зближення до локального оптимуму третього порядку (тоді як існуючі методи - не більше другого порядку). Ми також показуємо, що важко поширити це далі на пошук місцевих оптимів четвертого порядку.

По суті, ви можете мати функції, де у вас є точки сідла, які не відрізняються від локальних мінімумів при перегляді першої, другої та третьої похідних. Ви можете вирішити це, перейшовши на оптимізатор вищого порядку, але вони показують, що для локального мінімуму 4-го порядку є важким NP.

$x^2y+y^2$ має таку точку при (0,0).

Ви можете використати ряд евристики, щоб уникнути таких точок, які можуть працювати для багатьох (більшість?) Прикладів реального світу, але не можна довести, що вони завжди працюють.
У публікації блогу, яку ви пов’язали, вони також обговорюють умови, за яких ви можете уникнути таких сідлових точок у поліномічний час.