Обчислення зусиль алгоритмів

9

Розглянемо суворо випуклу задачу оптимізації $\mathcal{O} := \min_{x \in \mathbb{R}^n} f(x).$ Нехай позначає його унікальні мінімуми, а - задане початкове наближення доМи будемо називати вектор у близьке рішення , якщо $x_\text{opt}$ $x_0$ $x_\text{opt}.$ $x$ $\epsilon-$ $\mathcal{O}$

\frac{| | х - х_{опт} | |_{2}}{| | х_{0} - х_{опт} | |_{2}} \leq ϵ .

$\begin{equation} \frac{||x - x_{\text{opt}}||_2}{||x_0 - x_\text{opt}||_2} \leq \epsilon. \end{equation}$

Припустимо, що існує два ітеративних алгоритми та щоб знайти близьке рішення з такими властивостями: $\mathcal{A}_1$ $\mathcal{A}_2$ $\epsilon-$ $\mathcal{O}$

Для будь-якого загальне обчислювальне зусилля, тобто зусилля, необхідні за ітерацію загальну кількість ітерацій, щоб знайти рішення однакове для обох алгоритмів. $\epsilon > 0,$ $\times$ $\epsilon-$
Намагання на ітерацію для дорівнює скажімо, тоді як є $\mathcal{A}_1$ $O(n),$ $\mathcal{A}_2$ $O(n^2).$

Чи бувають ситуації, коли один віддає перевагу одному алгоритму над іншим? Чому?

convex-optimization complexity

— Суреш
джерело

14

Як правило, дуже важко, якщо не неможливо, реалізувати паралельну версію ітеративного алгоритму, що паралелізує всі ітерації. Завершення однієї ітерації є природним пунктом послідовності. Якщо один алгоритм вимагає меншої кількості ітерацій, але більше роботи на ітерацію, то більш ймовірно, що цей алгоритм може бути ефективно реалізований паралельно.

Прикладом цього є лінійне програмування, де метод первинно-подвійний бар'єр (внутрішня точка), як правило, використовує лише кілька десятків ітерацій навіть для дуже великих проблем, але робота за ітерацію досить велика. У порівнянні різні версії симплексного методу зазвичай вимагають набагато більше ітерацій, але робота на ітерацію менша. На практиці паралельна реалізація методів внутрішніх точок показала набагато кращу паралельну ефективність, ніж паралельна реалізація симплексного методу.

— Брайан Борчерс
джерело

7

Я можу придумати деякі можливості:

Якщо обидва алгоритми монотонно зменшують помилку з кожною ітерацією, то, можливо, дехто може мати більше, більш дешеві ітерації, оскільки це дає більше варіантів, коли зупинити ітерацію.

Якщо $\mathcal{A}_1$ є $O(n)$ робота та час, але $O(n^k)$ пам’яті, ви могли б віддати перевагу $\mathcal{A}_2$ якщо $k$ великий. $k=2$ може бути навіть досить великим, щоб зробити ваш вибір $\mathcal{A}_2$ оскільки використання пам'яті швидше заважає вам тут.

Це, мабуть, стосується того, чи говоримо ми про оптимізацію чи будь-який інший ітераційний клас.

— Білл Барт
джерело

Я згоден з вами щодо обмежень у просторі. Мені було цікаво, чи можна скласти справу лише на основі часової складності.

— Суреш