Як можна знати, які позначення аналізу складності часу використовувати?

У більшості вступних класів алгоритму вводяться позначення типу (Big O) та , і студент, як правило, навчиться використовувати один із них, щоб знайти складність у часі. $O$ $\Theta$

Однак є й інші позначення, такі як , та . Чи є конкретні сценарії, коли одна нотація була б кращою для іншої? $o$ $\Omega$ $\omega$

— Джек Н
джерело

його не настільки бажано, як застосовано ...

— vzn

Відповіді:

Ви посилаєтесь на позначення Ландау . Вони не є різними символами для однієї речі, але мають абсолютно різні значення. Який із них є "кращим", повністю залежить від бажаного твердження.

$f \in \cal{O}(g)$ означає, що росте максимум так само швидко, як , асимптотично і до постійного коефіцієнта; думайте про це як . - суворіша форма, тобто . $f$ $g$ $\leq$ $f \in o(g)$ $<$

$f \in \Omega(g)$ має симетричне значення: росте як мінімум так само швидко, як . - її суворіший кузен. Ви можете бачити, що еквівалентно . $f$ $g$ $\omega$ $f \in \Omega(g)$ $g \in \cal{O}(f)$

$f \in \Theta(g)$ означає, що росте приблизно так само швидко, як ; формально . (асимптотична рівність) - це його сильніша форма. Ми часто маємо на увазі коли використовуємо . $f$ $g$ $f \in \cal{O}(g) \cap \Omega(g)$ $f \sim g$ $\Theta$ $\cal{O}$

Зверніть увагу, як та його побратими є класами функцій . Важливо бути в курсі цього та їх точних визначень - які можуть відрізнятися залежно від того, хто говорить - коли робите з ними арифметику. $\cal{O}(g)$

Доказуючи речі, подбайте про роботу з вашим точним визначенням. Навколо існує багато визначень для символів Ландау (всі з однаковою базовою інтуїцією), деякі з яких еквівалентні для деяких наборів функцій, а не для інших.

Пропоноване читання:

Якщо ви зацікавлені в використанні нотацій Ландау в суворій та обґрунтованій формі, вас можуть зацікавити останні роботи Рутанен та ін. [1]. Вони формулюють необхідні та достатні критерії для асимптотичних позначень, оскільки ми використовуємо їх в алгоритмі, показують, що загальне визначення не відповідає їм і надає (фактично) працездатне визначення.

Загальне визначення O-позначення для аналізу алгоритму К. Рутанен та ін. (2015 р.)

— Рафаель
джерело

Я просто хочу зазначити, що хоча діє як а діє як , існують відмінності; не важко знайти функції і такі, що і .

O

$\mathcal{O}$

\leq

$\le$

Ω

$\Omega$

\geq

$\ge$

g

$g$

f

$f$

f \notin O (g)

$f \not\in \mathcal{O}(g)$

f \notin Ω (g)

$f \not\in \Omega(g)$

— Зак Ленглі

+1 для згадки про класи функцій. Такі речі, як і з'являються скрізь у паперах і книгах, що може бентежити людей, які стикаються з цими позначеннями вперше.

o (1)

$o(1)$

Ω (2^{n})

$\Omega(2^n)$

— Янома

@ZachLangley Те, що ви говорите, дуже правдиве. Тут немає загального замовлення. Мабуть, небезпечно виховувати взагалі, але я думаю, що це служить меті розбудови інтуїції.

\leq

$\leq$

— Рафаель

Великий О: верхня межа

"Великий O" ( ) - на сьогоднішній день найпоширеніший. Коли ви аналізуєте складність алгоритму, більшість часу важливо мати деяку верхню межу щодо того, наскільки швидко час виконання¹ зростає, коли збільшується розмір вводу. В основному ми хочемо знати, що запуск алгоритму не займе «занадто довго». Ми не можемо це виразити у фактичних одиницях часу (секундах), оскільки це залежатиме від точної реалізації (те, як написана програма, наскільки хороший компілятор, наскільки швидкий процесор машини,…). Тож ми оцінюємо, що не залежить від таких деталей, а це - скільки часу потрібно, щоб запустити алгоритм, коли ми подаємо його на більшу суму. І нас головним чином хвилює, коли ми можемо бути впевнені, що програма виконана, тому зазвичай ми хочемо знати, що це займе таку-то таку кількість часу чи менше. $O$

Сказати, що алгоритм має час виконання для вхідного розміру означає, що існує деяка константа така, що алгоритм виконує щонайбільше кроків, тобто час виконання алгоритму росте максимум настільки ж швидко, як і (до коефіцієнта масштабування). Відзначаючи час виконання алгоритму для розміру вводу , неофіційно означає, що до деякого коефіцієнта масштабування. $O(f(n))$ $n$ $K$ $K \, f(n)$ $f$ $T(n)$ $n$ $O(n)$ $T(n) \le f(n)$

Нижня межа

Іноді корисно мати більше інформації, ніж верхня межа. - це зворотне значення : воно виражає, що функція зростає принаймні так само швидко, як і інша. означає, що для деякої постійної , або неофіційно, вгору до деякого коефіцієнта масштабування. $\Omega$ $O$ $T(n) = \Omega(g(n))$ $T(N) \ge K' g(n)$ $K'$ $T(n) \ge g(n)$

Коли час роботи алгоритму можна точно визначити, поєднує в собі і : він виражає, що швидкість зростання функції відома, аж до коефіцієнта масштабування. означає, що для деяких констант і . Неформально кажучи, до деякого коефіцієнта масштабування. $\Theta$ $O$ $\Omega$ $T(n) = \Theta(h(n))$ $K h(n) \ge T(n) \ge K' h(n)$ $K$ $K'$ $T(n) \approx h(n)$

Подальші міркування

Значення "мало" і використовується набагато рідше в аналізі складності. Маленький сильніший за великий ; де позначає зростання, який не швидше, вказує на те, що ріст суворо повільніше. І навпаки, вказує на строго швидший ріст. $o$ $\omega$ $o$ $O$ $O$ $o$ $\omega$

Я був дещо неофіційним у дискусії вище. У Вікіпедії є формальні визначення та більш математичний підхід.

Майте на увазі, що використання знака рівності в і тому подібне є помилковим. Строго кажучи, - це сукупність функцій змінної , і нам слід записати . $T(n) = O(f(n))$ $O(f(n))$ $n$ $T \in O(f)$

Приклад: деякі алгоритми сортування

Оскільки це досить сухо, дозвольте навести приклад. Більшість алгоритмів сортування мають квадратичний найгірший час виконання, тобто для введення розміру час роботи алгоритму становить . Наприклад, сортування вибору має час виконання , тому що для вибору го елемента потрібні порівняння, для загальної кількості порівнянь. Насправді кількість порівнянь завжди рівно , яка зростає як . Тож ми можемо бути більш точними щодо часової складності вибору: це . $n$ $O(n^2)$ $O(n^2)$ $k$ $n-k$ $n(n-1)/2$ $n(n-1)/2$ $n^2$ $\Theta(n^2)$

Тепер візьміть сортування злиття . Сортування сортування також квадратичне ( ). Це правда, але не дуже точно. Сортування сортування насправді має час роботи в гіршому випадку. Як і сортування вибору, робочий потік сортування об'єднань по суті не залежить від форми вводу, і його час роботи завжди аж до постійного мультиплікативного коефіцієнта, тобто це . $O(n^2)$ $O(n \: \mathrm{lg}(n))$ $n \: \mathrm{lg}(n)$ $\Theta(n \: \mathrm{lg}(n))$

Далі розглянемо кікспорт . Кікспорт складніший. Це, звичайно, . Крім того, найгірший випадок кваксорбу - квадратичний: найгірший випадок - . Однак найкращий випадок швидкості сортування (коли вхід вже відсортований) лінійний: найкраще, що ми можемо сказати для нижньої межі до кваксорбу в цілому, є . Я не повторюю доказ тут, але середня складність швидкості (середня сума, взята за всі можливі перестановки введення) - . $O(n^2)$ $\Theta(n^2)$ $\Omega(n)$ $\Theta(n \: \mathrm{lg}(n))$

Є загальні результати щодо складності алгоритмів сортування в загальних налаштуваннях. Припустимо, що алгоритм сортування може порівнювати лише два елементи одночасно з результатом «так-ні» (або або ). Тоді очевидно, що час роботи будь-якого алгоритму сортування завжди є (де - кількість елементів для сортування), оскільки алгоритм повинен хоча б раз порівняти кожен елемент, щоб знати, куди він поміститься. Цю нижню межу можна виконати, наприклад, якщо вхід вже відсортований і алгоритм просто порівнює кожен елемент із наступним та підтримує їх у порядку (це порівняння). Менш очевидно, що максимальний час роботи обов'язково $x \le y$ $x > y$ $\Omega(n)$ $n$ $n-1$ $\Omega(n \: \mathrm{lg}(n))$ . Можливо, що алгоритм іноді буде робити менше порівнянь, але має бути деяка константа така, що для будь-якого розміру вводу існує принаймні один вхід, на якому алгоритм робить більше порівняння. Ідея доказу - побудувати дерево рішень алгоритму, тобто дотримуватися рішень, які алгоритм приймає за результатами кожного порівняння. Оскільки кожне порівняння повертає результат "так" чи "ні", дерево рішення є двійковим деревом. Єможливі перестановки вводу, і алгоритм повинен розрізняти всі вони, тому розмір дерева рішень дорівнює $K$ $n$ $K n \mathrm{lg}(n)$ $n!$ $n!$ . Оскільки дерево є двійковим деревом, воно потребує глибини щоб вмістити всі ці вузли. Глибина - це максимальна кількість рішень, які приймає алгоритм, тому запуск алгоритму передбачає принаймні стільки порівнянь: максимальний час виконання - . $\Theta(\mathrm{lg}(n!)) = \Theta(n\:\mathrm{lg}(n))$ $\Omega(n \: \mathrm{lg}(n))$

¹ _{Або інше споживання ресурсів, наприклад, простір пам'яті. У цій відповіді я розглядаю лише час роботи.}

— Жиль
джерело

"Однак найкращий випадок швидкості (коли вхід вже відсортований) лінійний" це найгірший випадок !!

— user5507

@ user5507: Насправді це залежить від стратегії зведення. Якщо перший (або останній) елемент обраний як опорний, то ви праві; але якщо ви вибираєте середній елемент або медіану першого, середнього, останнього, то найкращий випадок відсортований.

— chirlu

"Малі o і ω використовуються набагато рідше в аналізі складності". Це не вірно в аналізі складності простору. Під час аналізу складності часу ви зазвичай використовуєте o і ω під час підрахунку конкретних операцій (порівняння, пошук диска, пропуски кешу, що у вас є). Але оскільки ви завжди можете зачекати і придбати більш швидкий комп’ютер, "час на стіні" завжди "до постійного коефіцієнта", тому big-O набагато частіше зустрічається. У космічному аналізі часто виникають жорсткі нижні межі через теорію інформації, тому вкрай часто зустрічається, коли розмір повідомляється як "f (n) + o (f (n)) біт", де f (n) - нижня межа.

— Псевдонім

Поки я думаю про це: якщо f (n) - теоретична нижня межа розміру якоїсь структури даних, то та, яка використовує f (n) + O (1) (постійні накладні витрати), називається "неявною", такою, яка використовує f (n) + O (f (n)) (постійний відносний накладні витрати) називається "компактним", а той, який використовує f (n) + o (f (n)) (відносний накладний стає з часом незначним), називається "лаконічним ". Гарні умови, щоб знати, чи вам коли-небудь потрібно працювати в цьому просторі.

— Псевдонім

Зазвичай використовується для визначення верхньої межі (оцінка зверху), тоді як використовується для визначення нижньої межі (оцінка знизу), а використовується, коли вони відповідають, і в цьому випадку ви можете використовувати замість них (як правило) заявляти результат. $O$ $\Omega$ $\Theta$ $\Theta$

— Каве
джерело

"Зазвичай"? Їх можна використовувати для чогось іншого?

— svick

@svick, так, наприклад, що не є верхнім твердженням. Під верхнім зв'язаним твердженням я маю на увазі щось на зразок що виражає верхню межу на .

P = D T i m e (n^{O (1)})

$\mathsf{P} = \mathsf{DTime}(n^{O(1)})$

f = O (g)

$f = O(g)$

f

$f$

— Каве

На насправді, Кава, що є верхньою межею заяви. Перекладацький англійський переклад " " є "P - це набір проблем, які можна вирішити, використовуючи AT MOST поліноміальне число операцій". Якщо ви не мали на увазі "максимум", ви повинні були написати . (Звичайно, обидва твердження правильні.)

P = D T i m e (n^{O (1)})

$P = DTime(n^{O(1)})$

P = D T i m e (n^{Θ (1)})

$P = DTime(n^{\Theta(1)})$

— JeffE

@JeffE, я вважаю це рівністю між наборами функцій, але ти маєш рацію, можна також вважати це верхньою межею в більш загальному сенсі.

— Каве

@JeffE Власне, , оскільки але .

P \neq D T I M E (n^{Θ (1)})

$\mathrm{P}\neq \mathrm{DTIME}(n^{\Theta(1)})$

D T I M E (Θ (n \log n)) \subset P

$\mathrm{DTIME}(\Theta(n\log n))\subset \mathrm{P}$

D T I M E (Θ (n \log n)) \cap D T I M E (n^{Θ (1)}) = \emptyset

$\mathrm{DTIME}(\Theta(n\log n))\cap\mathrm{DTIME}(n^{\Theta(1)})=\emptyset$

— Девід Річербі