Приховані константи в складності алгоритмів

Для багатьох проблем алгоритм з найкращою асимптотичною складністю має дуже великий постійний коефіцієнт, який прихований великими позначеннями O. Це відбувається при матричному множенні, цілочисленному множенні (конкретно, недавньому алгоритмі множення O (n log n) цілого числа Гарві та ван дер Хоевена), низькоглибоких сортуваннях мереж та пошуку неповнолітніх графів. Такі алгоритми іноді називають галактичними алгоритмами.

Зауважимо, що для інших алгоритмів, таких як загальне сортування та додавання цілих чисел, алгоритми відомі з оптимальною асимптотичною складністю та малими постійними коефіцієнтами.

Які дослідження були проведені при відділенні перших алгоритмів від останніх алгоритмів з теоретичної точки зору?

Я знаю, що приховані константи часто опускаються, щоб приховати відмінність між різними моделями обчислення. Однак я впевнений, що в умовах найрізноманітніших різних моделей ці алгоритми Галактики будуть повільнішими, ніж асимптотично гірші алгоритми, наприклад, для входів розміром в один мільярд. Відмінність не тонка, в деяких випадках. Це було зроблено суворо?

Наприклад, можна було винайти дуже просту модель обчислення, наприклад, машину фон Неймана з дуже простою ISA, а потім реалізувати алгоритми і пов'язати їх час роботи з явними константами. Це було зроблено для різних алгоритмів?

Одне місце, де це цікаво підходить для певного класу алгоритмів та комбінаторних задач, є аналітична комбінаторика . Описаний основний підхід схожий на запропонований вами варіант: ви починаєте з конкретної реалізації алгоритму і визначаєте деяку повторну операцію (як правило, найважчу), яку ви використовуєте, щоб пов’язати явно лічильну складність для виконання введення заданого даних розмір$N$ у вигляді числа $C_N$ що обрана операція виконується.

Методика не вимагає фіксувати якусь конкретну модель обчислення, хоча це, звичайно, може бути корисним. Також зауважте, що ви можете або спробувати обчислити найгірший випадок поведінки або очікувану поведінку, або все-таки щось інше.

Найважливішим інгредієнтом цієї методології є аналіз генеруючих функцій цих значень. Іноді можна отримати дуже точні асимптотичні наближення, використовуючи методи складного аналізу.

Простий приклад, який розглядається в книзі, - це кваксорт. Це має найпростіший квадратичний час роботи, але на практиці переважає більшість$\mathcal O(n\log n)$алгоритми. Виконуючи точний аналіз очікуваної вартості кваксорту і порівнюючи його з об'єднанням, ви бачите, що, як я правильно пам'ятаю, очікується, що він перевершить останній за розміром близько 10. Щоб мати можливість обчислити такі речі, ви, звичайно, не можете нехтувати прихованими константами.

Насправді, у кварцовій сортуванні ви сортуєте список шляхом рекурсивного сортування списків, щоб ви отримали поліпшення для всіх розмірів, якщо використовуєте об'єднаний об’єднання у списках, менших за розмір 10. Цікава примітка у книзі зазначає, що в деякій бібліотеці Microsoft з відкритим джерелом, алгоритм загального сортування реалізується як quicksort до тих пір, поки ви не зменшитеся до розміру 10, після чого використовується злиття. У коментарях до коду зазначається, що тести на ефективність показали, що це значення є оптимальним.