Градієнтний спуск та багато інших методів корисні для пошуку місцевих мінімумів у функціях витрат. Вони можуть бути ефективними, коли функцію витрат можна швидко оцінити в кожній точці, чисельно, чи аналітично.

У мене є те, що мені здається незвичайною ситуацією. Кожна оцінка моєї функції витрат дорога. Я намагаюся знайти набір параметрів, які мінімізують 3D-поверхню проти поверхонь земної істини. Щоразу, коли я змінюю параметр, мені потрібно запустити алгоритм проти всієї групи вибірки, щоб виміряти його ефект. Для того, щоб обчислити градієнт, мені потрібно змінити всі 15 параметрів самостійно, це означає, що я повинен регенерувати всі поверхні і порівнювати порівняно із зразком когорту занадто багато разів за градієнт, і, безумовно, занадто багато разів протягом оптимізації.

Я розробив метод обійти цю проблему і зараз її оцінюю, але я здивований, що в літературі я не знайшов багато стосовно дорогих оцінок функцій витрат. Це змушує мене замислитись, чи не роблю я цю проблему важче, ніж вона є, і що може бути кращий спосіб вже доступний.

Тож мої запитання в основному такі: хтось знає про методи оптимізації витрат, випуклі чи ні, коли оцінка повільна? Або я роблю щось нерозумно в першу чергу, повторюючи алгоритм і порівнюючи проти вибіркової когорти стільки разів?

TL; DR

Я рекомендую використовувати LIPO. Це доказувально правильно і доказово краще, ніж чистий випадковий пошук (PRS). Він також надзвичайно простий у виконанні та не має гіперпараметрів. Я не проводив аналіз, який порівнював LIPO з BO, але я сподівався, що простота та ефективність LIPO означають, що він буде перемагати БО.

(Див. Також: Які є недоліки байєсівської оптимізації гіпер параметрів? )

Байєсова оптимізація

Баєсові методи оптимізації будують сурогатні моделі Гаусса для дослідження простору параметрів. Основна ідея полягає в тому, що кортежі параметрів, які знаходяться ближче один до одного, матимуть подібні значення функцій, тому припущення про структуру ко-дисперсії серед точок дозволяє алгоритму робити зрозумілі здогадки про те, який найкращий кортеж параметрів найбільш вартий спробувати наступний. Ця стратегія допомагає зменшити кількість оцінок функцій; насправді мотивація методів БО полягає в тому, щоб число оцінок функцій було максимально низьким, "використовуючи цілого буйвола", щоб добре здогадатися, який пункт слід перевірити далі. Існують різні показники достоїнств (очікуване покращення, очікуване поліпшення кількості, ймовірність покращення ...), які використовуються для порівняння балів, які слід відвідати наступним.

Порівнюйте це з чимось на зразок пошуку в сітці, який ніколи не використовуватиме будь-яку інформацію з попередніх оцінок функцій для інформування, куди йти далі.

Між іншим, це також є потужною технікою глобальної оптимізації, і тому вона не дає припущень щодо опуклості поверхні. Крім того, якщо функція стохастична (скажімо, оцінки мають деякий притаманний випадковий шум), це може бути безпосередньо враховано у моделі GP.

З іншого боку, вам доведеться підходити принаймні до одного лікаря-терапевта на кожній ітерації (або декількох, вибираючи "найкраще" або усереднюючи альтернативи, або повністю байєсівські методи). Потім модель використовується для складання (ймовірно, тисяч) прогнозів, як правило, у вигляді багатостартової локальної оптимізації, із зауваженням, що оцінити функцію прогнозування GP набагато дешевше, ніж функцію, що оптимізується. Але навіть з цим обчислювальним накладним покриттям, як правило, трапляється так, що навіть невипуклі функції можна оптимізувати за відносно невеликої кількості викликів функцій.

Документ на цю тему, що цитується, - Jones et al. , «Ефективна глобальна оптимізація дорогих функцій чорного ящика». Але існує багато варіацій цієї ідеї.

Випадковий пошук

Навіть коли дорогу оцінити функцію вартості, випадковий пошук все ще може бути корисним. Випадковий пошук є брудним. Єдиний вибір для дослідника - це встановити ймовірність якою ви хочете, щоб ваші результати лежали в якомусь квантилі ; решта надходить автоматично, використовуючи результати основної ймовірності.$p$ $q$

Припустимо, ваш квантил дорівнює і ви хочете, щоб ймовірність того, що результати моделі знаходяться в топіці відсотків усіх кортежів гіперпараметра. Ймовірність того, що всі спробуваних кортежів не знаходяться у цьому вікні, дорівнює (оскільки вони обрані незалежно незалежно від одного і того ж розподілу), тому ймовірність того, що принаймні один кортеж знаходиться в цій області, становить . Збираючи все це у нас єp = 0,95 100 × ( 1 - q ) = 5 n q n = 0,95 n 1 - 0,95 $q = 0.95$$p=0.95$$100\times (1-q)=5$$n$$q^n = 0.95^n$$1 - 0.95^n$

що в нашому конкретному випадку дає .$n \ge 59$

Цей результат є тим, чому більшість людей рекомендують спроб кортежів для випадкового пошуку. Варто зазначити, що можна порівняти з кількістю експериментів, необхідних для отримання хороших результатів методами на основі Гауссового процесу, коли є помірне число параметрів. На відміну від Гауссових процесів, кількість кортежів запитів не змінюється з кількістю гіперпараметрів для пошуку; Дійсно, для великої кількості гіперпараметрів метод Гаусса, який базується на процесі, може зайняти багато ітерацій.n = $n=60$$n=60$

Оскільки у вас є вірогідна гарантія того, наскільки хороші результати, це може бути переконливим інструментом, щоб переконати свого шефа, що не потрібно проводити більше експериментів.

ЛІПО та його варіанти

Це захоплююче прибуття, яке, якщо воно не нове , для мене, безумовно, нове. Це відбувається шляхом чергування розміщення поінформованих меж функції та вибірки з найкращої межі та використанням квадратичних наближень. Я все ще переглядаю всі деталі, але думаю, що це дуже перспективно. Це приємне написання блогу , і стаття Седріка Малхербе та Ніколя Ваятіса " Глобальна оптимізація функцій Ліпшіца" .

Література про оцінку дорогої функції чорної скриньки досить обширна, і вона, як правило, базується на сурогатних модельних методах, як зазначали інші. Чорний ящик тут означає, що про основну функцію відомо мало, єдине, що ви можете зробити, це оцінити у вибраній точці (градієнти, як правило, недоступні).$f(x)$$x$

Я б сказав, що сучасним золотим стандартом для оцінки (дуже) дорогої функції чорної скриньки є (глобальна) байєсова оптимізація (БО). Sycorax вже описав деякі особливості BO, тому я просто додаю інформацію, яка може бути корисною.

Для початку ви можете прочитати цей оглядовий документ 1 . Існує також більш свіжий [2].

Оптимізація Байєса в останні роки постійно зростає як поле, завдяки цілому ряду спеціалізованих семінарів (наприклад, BayesOpt , і перегляньте ці відео з майстерні Шеффілда в БО), оскільки в ньому є дуже практичне застосування в машинному навчанні, наприклад для оптимізації гіпер-параметрів алгоритмів ML - див., наприклад, цей документ [3] та пов'язаний з ним інструментарій, SpearMint . Існує багато інших пакетів на різних мовах, які реалізують різні види алгоритмів оптимізації Байєса.

Як я вже згадував, основна вимога полягає в тому, що кожна оцінка функції є дуже витратною, так що обчислення, пов'язані з БО, додають незначні витрати. Щоб надати бальний парк, БО може бути безперечно корисним, якщо ваша функція оцінюється за порядок хвилин або більше. Ви також можете застосувати його для більш швидких обчислень (наприклад, десятки секунд), але залежно від того, який алгоритм ви використовуєте, можливо, доведеться прийняти різні наближення. Якщо ваша функція оцінюється за часовою шкалою секунд , я думаю, ви вражаєте межі поточних досліджень і, можливо, інші методи можуть стати кориснішими. Крім того, я повинен сказати, що БО рідко є справді чорним колом, і вам часто доводиться налаштовувати алгоритми, іноді багато , щоб змусити його працювати з повним потенціалом з конкретною проблемою в реальному світі.

В іншому випадку, для огляду загальних методів оптимізації без похідних можна переглянути цей огляд [4] та перевірити наявність алгоритмів, які мають хороші властивості швидкої конвергенції. Наприклад, багаторівневий пошук координат (MCS), як правило, дуже швидко конверсується в сусідній мінімум (звичайно, не завжди глобальний мінімум). MCS вважається глобальною оптимізацією, але ви можете зробити його локальним, встановивши відповідні обмежені обмеження.

Нарешті, вас цікавить БО для цільових функцій, які є дорогими і галасливими , дивіться мою відповідь на це питання .

Список літератури:

1 Броху та ін., "Навчальний посібник з байесівської оптимізації функцій дорогих витрат із застосуванням до моделювання активного користувача та навчання ієрархічного зміцнення" (2010).

[2] Шахріарі та ін., "Виведення людини з циклу: огляд байесівської оптимізації" (2015).

[3] Snoek et al., "Практична байєсова оптимізація алгоритмів машинного навчання", NIPS (2012).

[4] Ріос та Сахінідіс, "Оптимізація без похідних: огляд алгоритмів та порівняння програмних реалізацій", Journal of Global Optimization (2013).

Сам я не знаю алгоритмів, але я вважаю, що алгоритм оптимізації, який ви шукаєте, - це похідна оптимізація , яка використовується, коли ціль є дорогою або галасливою .

Наприклад, погляньте на цей документ (Björkman, M. & Holmström, K. "Глобальна оптимізація дорогих невипуклих функцій за допомогою функцій радіальної основи." Оптимізація та інженерія (2000) 1: 373. doi: 10.1023 / A: 1011584207202) анотація якої, здається, вказує саме на це саме те, що ви хочете:

У статті розглядається глобальна оптимізація дорогих об'єктивних функцій, тобто проблема знаходження глобального мінімуму, коли існує декілька локальних мінімумів, і для кожного значення функції потрібен значний час для обчислення процесора. Такі проблеми часто виникають у виробничих та фінансових програмах, де значення функції може бути результатом трудомісткого комп'ютерного моделювання чи оптимізації. Похідні найчастіше важко отримати, і представлені алгоритми не використовують таку інформацію.

Ти не самотній.

Системи дорогого оцінювання дуже поширені в техніці, такі як моделі методу кінцевих елементів (FEM) та моделі обчислювальної динаміки рідини (CFD). Оптимізація цих обчислювально дорогих моделей дуже потрібна і складна, оскільки еволюційним алгоритмам часто потрібні десятки тисяч оцінок проблеми, що не є можливим для дорогих для оцінки проблем. На щастя, існує маса методів (алгоритмів), для вирішення цієї проблеми. Наскільки мені відомо, більшість із них базується на сурогатних моделях (метамоделях). Деякі з них перелічені нижче.

• Ефективна глобальна оптимізація (EGO) [1]. Алгоритм EGO був згаданий вище і може бути найвідомішим алгоритмом оптимізації на основі сурогатів. Він заснований на моделі Кріґінга та критерію заповнення, який називається функцією очікуваного вдосконалення (EI). R пакетами, що включають алгоритм EGO, є DiceOptim і DiceKriging.
• Метод відбору проб (MPS) [2]. Алгоритм MPS побудований на моделі RBF, а для набору балів-кандидатів використовується додаткова стратегія вибірки. Коди MATLAB публікуються авторами за адресою http://www.sfu.ca/~gwa5/software.html . Для отримання оптимального алгоритму MPS може знадобитися більше оцінок, але з мого особистого досвіду можна обробляти складніші задачі, ніж алгоритм EGO.
• Ансамблеві моделі сурогатів Джуліани Мюллер [3]. Вона використовувала кілька сурогатів, щоб підвищити можливість пошуку. Пакет інструментів MATLAB MATSuMoTo доступний на веб- сайті https://github.com/Piiloblondie/MATSuMoTo .

Влітку ці алгоритми оптимізації на основі сурогатних методів намагаються знайти глобальний оптимум проблеми, використовуючи якомога менше оцінок. Це досягається шляхом повного використання інформації, яку надає сурогат (сурогати). Огляди щодо оптимізації обчислювально дорогих проблем наведені в [4-6].

Довідка:

1. DR Jones, M. Schonlau та WJ Welch, "Ефективна глобальна оптимізація дорогих функцій чорної скриньки", Journal of Global Optimization, vol. 13, С. 455-492, 1998.
2. L. Wang, S. Shan, GG Wang, "Метод вибіркового методу глобальної оптимізації для дорогих функцій чорної скриньки", Engineering Optimization, vol. 36, с. 419-438, 2004.
3. Дж. Мюллер, "Алгоритми сурогатних моделей для обчислювально дорогих проблем глобальної оптимізації Black-Box", Тампереський технологічний університет, 2012 р.
4. Г. Г. Ванг та С. Шань, «Огляд методів метамоделювання на підтримку оптимізації інженерного проектування», Journal of Mechanical Design, vol. 129, с. 370-380, 2007.
5. А. І. Форестер та А. Дж. Кін, "Нещодавні досягнення в галузі сурогатної оптимізації", "Прогрес аерокосмічних наук", т. 45, с. 50-79, 2009.
6. ФАК Віана, Т. В. Сімпсон, В. Балабанов та В. Торопов, "Метамоделювання в оптимізації міждисциплінарного дизайну: наскільки ми дійсно зайшли?", AIAA Journal, vol. 52, арк. 670-690, 01.04.2014.

Дві прості стратегії, які я успішно використовував у минулому:

1. Якщо можливо, спробуйте знайти більш просту функцію сурогату, яка наближається до вашої оцінки повної вартості - типова аналітична модель, що замінює моделювання. Оптимізуйте цю простішу функцію. Потім підтвердіть і точно налаштуйте отримане рішення за допомогою точної функції витрат.
2. Якщо можливо, спробуйте знайти спосіб оцінити точну функцію "дельта-вартість" - точну, на відміну від наближення від використання градієнта. Тобто, починаючи з 15-ти мірної точки, для якої ви оцінили повну вартість, знайдіть спосіб отримати, як змінилась би вартість, вносячи невелику зміну до однієї (або декількох) з 15 складових вашої поточної точки. Вам потрібно буде використовувати властивості локалізації невеликого збурення, якщо такі є у вашому конкретному випадку, і вам, ймовірно, потрібно буде визначати, кешувати та оновлювати внутрішню змінну стану на цьому шляху.

Ці стратегії дуже залежні від конкретного випадку, я не знаю, чи вони можуть бути застосовні у вашому випадку чи ні, вибачте, якщо вони не є. Обидва можуть бути застосовні (як це було у моїх випадках використання): застосуйте стратегію «дельта-вартість» до більш простої аналітичної моделі - продуктивність може покращитися на кілька порядків.

Іншою стратегією було б використання методу другого порядку, який, як правило, скорочує кількість ітерацій (але кожна ітерація є більш складною) - наприклад, алгоритм Левенберга – Маркарда . Але враховуючи, що, здається, у вас немає способу безпосередньо та ефективно оцінити градієнт, це, мабуть, не є життєздатним варіантом у цьому випадку.

Як згадували інші люди, сурогатна модель (також її називають поверхнею відповіді) є потужним підходом. На мою думку, одне важливе, що люди забувають, це те, що ви можете виконувати кілька оцінок функції паралельно , якщо використовуєте багатоядерні процесори.

Я б запропонував переглянути цей код , він використовує просту модель відповіді, але масштаби на багатоядерних процесорах, що дає швидкість, рівну кількості використовуваних ядер. У цій роботі описана математика, що стоїть за методом .

Існує багато хитрощів, що застосовуються при стохастичному градієнтному спуску, які також можна застосувати для оцінки об'єктивної функції. Загальна ідея намагається наблизити цільову функцію за допомогою підмножини даних .

Мої відповіді в цих двох публікаціях обговорюють, чому працює стохастичний градієнтний спуск: інтуїція за ним полягає в наближенні градієнта за допомогою підмножини даних.

Як стохастичний градієнтний спуск може заощадити час порівняно зі стандартним схилом градієнта?

Як запустити лінійну регресію паралельно / розподіленим способом для встановлення великих даних?

Ця ж хитрість стосується і цільової функції.

$\|Ax-b\|^2$$A$$A$$b$