Значення методів пошуку та методів оптимізації

Мені було цікаво, які відмінності та взаємозв'язки між "методами пошуку" та "методами оптимізації"?

Особливо при вирішенні проблеми оптимізації? Я наголошую на контексті вирішення проблем оптимізації, тому що я думаю, що методи пошуку не тільки для вирішення проблем оптимізації, але й проблеми, що не є оптимізацією?

Моя плутанина випливає з таких фактів:

Існують деякі методи оптимізації, які називаються "xxx search", такі як локальний пошук , стохастичний пошук , .... Що означає "пошук" насправді? Цікаво, чи існують методи оптимізації, які не є "пошуковими"?
Також у цій книзі « Вступ до стохастичного пошуку та оптимізації за допомогою Spall» я не зовсім розумію різницю між «Пошук» та «Оптимізацією» як у назви, так і в її змісті. Чому потрібно розрізняти "Пошук" та "Оптимізація", якщо вони означають однакове? Чи означає «оптимізація» означає стохастичні задачі / проблеми замість методів оптимізації, на відміну від «пошуку» означає методи вирішення завдань / проблем оптимізації?
Також безкоштовний обід у пошуку та оптимізації знову не відрізняє пошук та оптимізацію.

Дякую та з повагою!

optimization

— Тім
джерело

Відповіді:

search = спроба знайти можливу точку, яка задовольняє всі обмеження (і для оптимізації краща точка, ніж знайдена досі), як правило, використовуючи лише значення функцій.

локальний пошук: покращення можливої точки (або відстані до міри доцільності) шляхом пошуку серед сусідніх точок.

стохастичний пошук: пошук за допомогою недетермінованого критерію для вибору пробних балів.

Це не залежить від того, чи задано критерій оптимізації. Зокрема, у розділі "Без безкоштовного обіду в пошуку та оптимізації" пошук стосується пошуку доцільності, а оптимізація - пошуку оптимальності.

У загальному сенсі для оптимізації проблеми пошук та оптимізація рівноцінні. Однак у них є конотації, які змінюють використання терміна.

метод оптимізації = метод вирішення проблеми оптимізації, часто (але не обов’язково) з використанням градієнтної (або підградієнтної або навіть гессіанської) інформації.

Можливість використовувати градієнти різко підвищує ефективність методів оптимізації. У цьому контексті можна використовувати (наприклад, з відомими градієнтами) термін пошук лише у поєднанні "пошук рядків", що означає пошук кращої точки в обраному напрямку.

— Арнольд Ноймаєр
джерело

Дякую! Отже, щодо проблем з оптимізацією (1) Пошук в більш широкому сенсі є рівносильним методам оптимізації. (2) Чи означає пошук "в основному з використанням лише функціональних значень" {способи пошуку} = {методи оптимізації з використанням лише функціональних значень} {рядкові методи пошуку} "? Чи "пошуковий рядок" є єдиним "методом пошуку", який використовує речі, що перевищують значення функцій? Якщо я додаю деяке збурення до градієнта в градієнті на основі методу, чи метод стане методом "стохастичного пошуку"? Чи використовують локальний пошук і стохастичний пошук лише значення функцій?

\cup

$\cup$

— Тім

(3) Чи всі метагевристичні методи пошуку у його вузькому розумінні?

— Тім

@Tim: Пошук у рядках може використовувати або не використовувати градієнти у своєму пошуку (наприклад, потрібен пошук рядків Вулфа). Ви не повинні надавати цим словам занадто точне значення; вони навіюють щось, а не математичні поняття з точним значенням. - Метод Ньютона використовує градієнти та гессіанці. - Метод стохастичний, коли пошук включає генератор випадкових чисел. - локальний пошук може використовуватися в загальному розумінні методу, який не гарантує конвергенцію до глобального оптимуму, або означає прямий пошук, заснований на огляді місцевих околиць лише поточного найкращого пункту.

— Арнольд Ноймаєр

Метагеврист повинен містити принципи, більш конкретні, ніж просто "локальний пошук", щоб заслужити свою назву; Я ніколи не чув, щоб це застосовувало це взагалі. Але термінологія не дуже точна

— Арнольд Ноймаєр

Різниця в термінології між "пошуком" та "оптимізацією" походить від того, що пошук посилається на процес знаходження так що для заданого маємо , тобто шукаємо корінь. В оптимізації ми хочемо знайти щоб . Принаймні, якщо є рівним, то знаходження цього мінімуму, як правило, перетворюється на задачу пошуку кореня для . Іншими словами, термін "пошук" походить від більш загальної проблеми, але для проблем оптимізації речі, які займаються оптимізацією, часто зводяться до речей, які займаються пошуком. $x^\ast$ $g(x)$ $g(x^\ast)=0$ $x^\ast$ $f(x) \rightarrow \textrm{min!}$ $f$ $g(x)=\nabla f(x)$

— Вольфганг Бангерт
джерело

Пошук у більшості випадків застосовується до систем рівнянь та нерівностей. Зокрема, у разі оптимізації потрібно шукати рішення

g (x) = 0, f (x) \leq f_{b e s t}

$g(x)=0, f(x)\le f_{best}$ . Але прямі методи пошуку в оптимізації не мають доступу

g (x)

$g(x)$ отже, не можна просто застосувати алгоритм пошуку до цього набору обмежень.

— Арнольд Ноймаєр