Що таке ефективний алгоритм?

Що з точки зору асимптотичної поведінки, що вважається "ефективним" алгоритмом? Який стандарт / причина для того, щоб провести лінію в цій точці? Особисто я б подумав, що все, що є тим, що я, можливо, наївно називаю "субполіномом", таким$f(n) = o(n^2)$наприклад було б ефективним, і все, що є було б "неефективним". Однак я чув, що все, що є в будь-якому поліноміальному порядку, можна назвати ефективним. Які міркування?$n^{1+\epsilon}$$\Omega(n^2)$

Це залежить від контексту. У теоретичній інформатиці зазвичай кожен поліноміальний алгоритм часу вважається "ефективним". У алгоритмах наближення, наприклад, час виконання$n^{1/\epsilon^{1/\epsilon}}$ було б визнано ефективним, хоча воно не може бути застосоване на практиці для будь-яких розумних цінностей $\epsilon$. Алгоритм для SAT, який працює в$n^{2^{100}}$ був би дивним проривом.

У класичній алгоритмі, тобто алгоритмах від 80-х років і раніше, час виконання нижче $n^3$або так (вважають множення матричної думки, відповідність мінімальних витрат, потоки, лінійне програмування) вважаються ефективними. Більшість людей вони все ще вважаються ефективними. Звичайно a$n^2$ алгоритм не вважається ефективним, якщо a $n\log n$ алгоритм відомий, наприклад, для сортування.

В даний час існує тенденція до підлінійних алгоритмів або потокових алгоритмів, які здатні мати справу з терабайтами даних. Спробуйте використовувати матричне множення для обчислення рейтингу сторінок усіх сторінок в індексі Google. Це не вийде.

Звичайно, незважаючи на користь, асимптотичний алгоритм не розповідає про всю історію. Існують алгоритми, які мають хороший асимптотичний час виконання, але константи настільки величезні, що їх ефективно використовувати не можна. Колись. Ліптон називає їх галактичними алгоритмами . Роберт Седжевік навіть заявляє, що межі найгіршого випадку "часто марні для прогнозування, часто марні для гарантій" і "аналіз найгірших випадків марний для прогнозування ефективності" у своїй розмові Повернення науки назад до інформатики .

Мої 2 копійки від кута розподілених алгоритмів: При перегляді масштабних мереж (P2P, соціальних мереж тощо) розподілений алгоритм вважається ефективним, якщо його час роботи$O(\log^c n)$ для якоїсь постійної $c>0$ і алгоритм використовує повідомлення$O(\log n)$біт. Зауважте, що вимога щодо розмірів повідомлень зазвичай надається навіть більшого значення, ніж час виконання, зокрема для "глобальних" проблем, які мають більшу нижню межу часу виконання, наприклад, розподіленого MST.

Підстава полягає в тому, що, з точки зору асимптотичної поведінки, поліномічна швидкість зростання в тривіально меншій мірі, ніж надполіномальна швидкість зростання. На практиці алгоритм багаточленного часу працює набагато швидше, ніж алгоритм суперполіномного часу, коли розмір вводу збільшується.

Звичайно, ніхто не скаже, що алгоритм з багаточленною складністю, наприклад, $O(n^{2000})$ є "ефективним", але більшість алгоритмів рідко перевищує складність $O(n^5)$.

Практичні міркування можуть навіть змусити вас сказати це $O(n^2)$неефективно обробляти надзвичайно великий вхід, і саме тому ми намагаємося довести нижчі межі та розробити послідовні алгоритми, що відповідають цим нижчим межам з одного боку, і вдатися до паралельних алгоритмів з іншого боку. З деяких проблем, якщо ви готові прийняти імовірнісну гарантію, ви можете навіть скористатися сублінійними алгоритмами часу (надзвичайно швидко, але може не дати правильної відповіді з дуже малою ймовірністю).

Теоретично алгоритм вважається ефективним, якщо його найгірший час роботи обмежений поліномом його вхідної довжини. Висновок полягає в тому, що поліноми мають приємні властивості закриття. Додавання, множення, складання многочленів - це операції, які дають поліноми, і це добре, якщо ви зменшуєте проблеми один до одного.

Звичайно, розрив між поліном та експоненціалом стає дуже великим, оскільки довжина вводу збільшується, тому поліноміально-часові алгоритми значно кращі. На практиці алгоритм багаточленного часу може зайняти багато часу до закінчення, але, можливо, це оптимальний алгоритм (найкращий можливий), і в цьому випадку я б сказав, що він ефективний.

Деякі проблеми легкі, деякі - важкі. Наскільки алгоритм є "ефективним", залежить від того, наскільки він хороший порівняно із властивою йому складністю проблеми. Якщо ви знайдете алгоритм, який визначає будь-яке n-значне число в O ($n^3$) операцій, і я знаходжу алгоритм, який сортує n чисел в O ($n^2$) операцій, тоді ваш алгоритм є більш ефективним (тому що він б'є все, що відомо людству величезним фактором, тоді як моє так само повільно, як ви могли б очікувати від абсолютного новачка).