Евристика для оптимізації

Оскільки п’ятниця, настав час для питання CW. Я шукаю евристику, яка широко використовує проблеми оптимізації. Щоб обмежити сферу застосування більш «теоретично-приємної» евристики, ось правила (деякі довільні, деякі ні)

• Це повинен бути чітко визначений метод без численних параметрів і з конкретним часом роботи (можливо, за ітерацією)
• З нею повинні бути пов'язані деякі відомі теоретичні результати (швидкість конвергенції, межі наближення, якщо такі є, нерухомі властивості тощо)
• Він повинен мати широку застосованість і хоча б одне флагманське додаток, коли це або метод вибору, або один із кількох.
• вона не повинна бути натхненною природою (хоча це здається легковажним запереченням, я намагаюся виключити генетичні алгоритми, оптимізацію колонії мурашок тощо).

Відповіді в ідеалі мають бути у такому форматі: ось приклад.

Ім'я : Черговий оптимізатор

Мета : мінімізувати (як правило, невипуклу) функцію$f(x,y)$

Умови : Асоційовані функції і h (y) = \ min_x f (x, y) є опуклими$g(x) = \min_y f(x,y)$$h(y) = \min_x f(x,y)$

Алгоритм : $i^{\text{th}}$ ітерація починається з $x_i, y_i$ .

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

Найвідоміший додаток : $k$ -значення, переглянута найближча пара.

Теорія : Відомі результати щодо -засобів, загальні достатні умови для глобальної оптимальності фреймворку$k$

ps Ви можете виявити, що ваша відповідь закінчується лекцією на семінарі з алгоритмів, який я планую :)

Найменування: повторене зважене найменше квадратне завдання
: мінімізувати функцію форми , , , Умови: залежать від випадку Алгоритм: очевидний - фіксуйте ваги, вирішуйте квадратичну задачу, перерахуйте ваги Найвідоміший додаток: геометрична медіана, М-оцінка, норма , стиснене зондування Теорія: доведено на кожному конкретному випадку$\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$