Коли рандомізація прискорює роботи алгоритмів, і вона "не повинна"?

Доказ Адлемана про те, що міститься в P / p o l y, показує, що якщо існує рандомізований алгоритм для задачі, яка працює за часом t ( n ) на входах розміром n , то також існує детермінований алгоритм для задачі що працює в часі Θ ( t ( n ) ⋅ n ) на входах розміру n [алгоритм запускає рандомізований алгоритм на Θ ( n $BPP$$P/poly$$t(n)$$n$$\Theta(t(n)\cdot n)$$n$$\Theta(n)$незалежні рядки випадковості. Повторний алгоритм повинен бути випадковим для всіх можливих входів]. Детермінований алгоритм неоднаковий - він може поводитися по-різному для різних розмірів вводу. Отже, аргумент Адлемана показує, що - якщо ніхто не піклується про рівномірність - рандомізація може прискорити алгоритми лише коефіцієнт, лінійний за розміром введення.$2^n$

Які конкретні приклади, коли рандомізація прискорює обчислення (наскільки нам відомо)?

Одним із прикладів є тестування поліноміальної ідентичності. Тут вхід - це арифметична схема розміру n, що обчислює поліном m-змінної над полем, і завдання полягає у з'ясуванні того, чи є многочлен однаково нульовим. Рандомізований алгоритм може оцінити поліном у випадковій точці, тоді як найкращий детермінований алгоритм, який ми знаємо (і, можливо, найкращий, що існує), оцінює поліном у багатьох точках.

Інший приклад - мінімальне прольотоване дерево, де найкращий рандомізований алгоритм Каргера-Кляйна-Тарджана - це лінійний час (а ймовірність помилки експоненціально мала!), Тоді як найкращий детермінований алгоритм Chazelle працює в часі ( α - зворотна функція Акермана, тому швидкість рандомізації дійсно мала). Цікаво, що Петті та Рамачандран довели, що якщо існує нерівномірний детермінований лінійний алгоритм лінійного часу для мінімального діапазону дерева, то існує також рівномірний детермінований алгоритм лінійного часу.$O(m\alpha(m,n))$$\alpha$

Які ще є приклади? Які приклади ви знаєте, де швидкість рандомізації велика, але це можливо лише тому, що ми ще не знайшли достатньо ефективних детермінованих алгоритмів?

Я не знаю, чи може допомогти рандомізація "повинна" чи "не повинна", проте тестування цілості на первинність можна зробити вчасно за допомогою рандомізованого Міллера-Рабіна, хоча, наскільки я знаю, найвідоміший детермінованими алгоритмами є ˜ O ( n 4 ), припускаючи GRH (детермінований Міллер – Рабін) або ˜ $\tilde O(n^2)$$\tilde O(n^4)$ безумовно (варіанти АКС).$\tilde O(n^6)$

Старий приклад - обчислення обсягу. Враховуючи політоп, описаний оракул членства, існує рандомізований алгоритм, що працює в поліноміальний час, щоб оцінити його обсяг накоефіцієнта 1 + ϵ , але жоден детермінований алгоритм не може зблизитися навітьбеззастережно.$1+\epsilon$

Першим прикладом такої рандомізованої стратегії були Дайер, Фриз і Каннан, а результат твердості для детермінованих алгоритмів - Баран і Фюреді. Алістер Сінклер має приємні конспекти лекцій з цього приводу .

Я не впевнений, що я повністю розумію частину питання "і це не повинно", тому я не впевнений, що це відповідає законопроекту.

Я не знаю, чи відповідає це на ваше питання (або принаймні його частина). Але для реальних прикладів, коли рандомізація може забезпечити прискорення, є проблеми оптимізації та відношення до теореми « Без вільного обіду» ( NFL ) .

Є стаття "Можливо, не безкоштовний обід, але принаймні безкоштовна закуска", де показано, що використання алгоритмів рандомізації (оптимізації) може мати кращі показники.

Анотація:

Часто стверджується, що еволюційні алгоритми переважають над іншими методами оптимізації, зокрема, в ситуаціях, коли про об'єктивну функцію оптимізації не відомо багато. На відміну від цього Волперт і Маккадрі (1997) довели, що всі методи оптимізації мають однакову поведінку --- в середньому по всіх де X і $f : X \rightarrow Y$$X$$Y$є кінцевими множинами. Цей результат називається [Теоремою безкоштовного обіду немає]. Тут представлені різні сценарії оптимізації. Стверджується, чому сценарій, на якому базується теорема "Без вільного обіду", не моделює оптимізацію реального життя. Для більш реалістичних сценаріїв стверджується, чому методи оптимізації відрізняються своєю ефективністю. Для невеликого прикладу це твердження доведено.

Список літератури:

1. Немає теорем про безкоштовний обід для оптимізації (оригінальна теорема NFL для оптимізації)
2. Можливо, не безкоштовний обід, але принаймні безкоштовна закуска
3. Без вільного обіду та довжини опису (показує, що результати NFL утримуються для будь-якого підмножини набору всіх можливих функцій, якщо iff F закритий під перестановкою, чашка )$F$$F$
4. Про класи функцій, для яких не дотримуються результатів "Безкоштовний обід" (Доведено, що частка підмножин є чашкою , незначно мала)
5. Два широких класи функцій, для яких результат без вільного обіду не дотримується (показує, що NFL результат не застосовується до набору функцій, коли довжина опису функцій достатньо обмежена)
6. Постійні обіди безкоштовні плюс розробка оптимальних алгоритмів оптимізації (показує, що для безперервних доменів [офіційна версія] NFL не виконується. Ця теорема вільного обіду заснована на формалізації поняття про випадкові функції фітнесу за допомогою випадкових полів )
7. Поза межами вільного обіду: реалістичні алгоритми для довільних класів задач (показує, що ".. [a] всі порушення теорем про вільний обід можуть бути виражені як неблокові однорідні розподіли за проблемними підмножинами, які є чашкою ")
8. Метагевристичні алгоритми на основі роя ​​та теорії без вільного обіду ("[..t] раніше, результати для неперевірених впорядкованих за часом ітерацій можуть бути неправдивими для випадків перегляду справ, оскільки повторювані ітерації порушують важливе припущення про чашка, необхідна для доведення теорем про НФЛ (Маршалл та Хінтон, 2010) ")
9. Без вільного обіду та алгоритмічної випадковості
10. Немає вільного обіду і орієнтирів (теоретично-теоретичний підхід він узагальнений до критеріїв, не характерних для чашки , але все ж зазначає, що (нетривіальні) рандомізовані алгоритми можуть в середньому перевершувати детерміновані алгоритми "[..] було продемонстровано, що ймовірність є недостатньою для підтвердження необмежених результатів НФЛ у загальному випадку. [..] ця робота відмовляється від ймовірності, віддаючи перевагу теоретично-теоретичній рамці, яка ухиляється від вимірювально-теоретичних обмежень, розподіляючи ймовірність взагалі ")

Підсумок про невільні обіди (та безкоштовні обіди) Девід Х. Волперт: Що коштує обід? ( зауважте, що теореми типу NFL ніколи не вказують фактичну " ціну " через їх тип підтвердження)

специфікація для узагальненої оптимізації (GO):

1. $X$$Z$$X$$Z$

2. $f: X \to Z$

3. $m$$f$

   $$d_m = \{d_m(1), d_m(2), ..., d_m(m)\}$$ $\forall t$ $$d_m(t) =\{d^X_m(t),d^Z_m(t)\}$$ $d^Z_m(t)$$f[d^X_m(t)]$

4. $a = \{d_t \to d^X_m(t) : t=0..m\}$

5. $C(f, d_m)$

6. $C(., .)$

$C$$f$$C$$f$$C$$(f, d_m)$$f = f^*$

Нарешті, просте (і не дуже просте) зауваження, чому рандомізація (в тій чи іншій формі) може забезпечити кращі показники порівняно з строго детермінованими алгоритмами.

1. В умовах оптимізації (хоча і не обмежується в цьому) процедура рандомізованого пошуку може в середньому уникнути локальної екстремуму краще, ніж детермінований пошук, і досягти глобальної-екстремуми.
2. $2^A$$A$$A$$A$$A$

Найкращим прикладом є область, яка в даний час вважається найкращою кандидатурою для OWF, де здається, що кожен популярний OWF, який приготований на диво, має рандомізований алгоритм субекспоненціалу, тоді як не існує детермінованого субекспоненціального алгоритму (наприклад, приймаємо цілочисельну факторизацію). Насправді, у багатьох випадках, ймовірно, існує ефективний алгоритм, який дає ряд порад (криптоаналіз).

Якщо у вас є алгоритм, що використовує рандомізацію, ви завжди можете замінити його детермінованим алгоритмом, використовуючи псевдовипадкові числа: Візьміть опис проблеми, обчисліть хеш-код, використовуйте цей хеш-код як насіння для хорошого генератора псевдовипадкових чисел . На практиці це насправді те, що може статися, коли хтось реалізує алгоритм, використовуючи рандомізацію.

Якщо ми не залишимо хеш-код, то різниця між цим алгоритмом та алгоритмом, використовуючи справжню рандомізацію, полягає в тому, що я можу передбачити послідовність генерованих випадкових чисел, і я можу створити проблему, що передбачуване випадкове число, застосоване до моєї проблеми, завжди буде приймати найгірше можливе рішення. Наприклад, для Quicksort з псевдовипадковим стрижнем я міг побудувати вхідний масив, де псевдовипадковий шарнір завжди знайде найбільше можливе значення в масиві. З справжньою випадковістю, що неможливо.

За допомогою хеш-коду мені було б дуже важко побудувати проблему, коли псевдовипадкові числа дають найгірші результати. Я ще можу передбачити випадкові числа, але якщо я зміню задачу, послідовність псевдовипадкових чисел повністю змінюється. Тим не менш, вам було б неможливо довести, що я не можу побудувати таку проблему.