Які характеристики алгоритму складності часової складності

Іноді легко визначити часову складність алгоритму, щоб я його ретельно вивчив. Алгоритми з двома вкладеними петлями очевидно . Алгоритми , які досліджують всі можливі комбінації груп з двох значень, очевидно .N 2 N 2 $N$$N^2$$N$$2^N$

Однак я не знаю, як «помітити» алгоритм зі складністю $\Theta(N \log N)$ . Наприклад, рекурсивна реалізація злиття. Які загальні характеристики або інша злиття $\Theta(N \log N)$ алгоритми , які дали б мені ключ , якщо я аналізував один?

Я впевнений, що існує декілька способів складності алгоритму $\Theta(N \log N)$ , тому будь-які і всі відповіді оцінюються. До речі, я шукаю загальні характеристики та поради, а не суворі докази.

Ваш архетипний - алгоритм розділення і перемоги , який ділить (і рекомбінує) роботу на лінійний час і повторюється за частинами. Сортування злиттям працює таким чином: проводять Про ( п ) час розщеплення вхід приблизно на дві рівні частини, рекурсивно роду кожен шматок, і провести Θ ( п ) час , комбінуючи дві половинки сортується.$\Theta(n \log n)$$O(n)$$\Theta(n)$

Інтуїтивно, продовжуючи ідею поділу і перемоги, кожен етап поділу займає загальний лінійний час, оскільки збільшення кількості шматочків, які потрібно розділити, точно відповідає зменшенню розміру шматочків, оскільки час, відведений діленням, лінійний. Загальний час роботи - це добуток загальної вартості етапу поділу, помножений на кількість етапів поділу. Оскільки розмір шматочків зменшується вдвічі, є етапи поділу , тож загальний час виконання - n ⋅ log ( n ) . (До мультиплікативної константи основа логарифму не має значення.)$\log_2(n)$$n \cdot \log(n)$

Якщо скласти це в рівняннях (), один із способів оцінити час роботи такого алгоритму - це виразити його рекурсивно: T ( n ) = 2 T ( n / 2 ) + Θ ( n ) . Зрозуміло, що цей алгоритм займає більше, ніж лінійний час, і ми можемо бачити, наскільки більше, поділяючи на n : T ( n $T(n)$$T(n) = 2 T(n/2) + \Theta(n)$$n$ Колиnподвоюється,T(n)/nзбільшується на постійну величину:T(n)/nзбільшується логарифмічно, або іншими словами,T(n)=Θ(nlogn).

Це примірник більш загальної закономірності: головна теорема . Для будь-якого рекурсивного алгоритму , який ділить його введення розміру в протягом шматків розміру п / б і займає час п ( п ) для виконання поділу і рекомбінації, час роботи задовольняє умова Т ( п ) = а ⋅ Т ( п / б ) + f ( n ) . Це призводить до закритої форми, яка залежить від значень a і b та форми$n$$a$$n/b$$f(n)$$T(n) = a \cdot T(n/b) + f(n)$$a$$b$ . Якщо a = b і f ( n ) = Θ ( n ) , головна теорема стверджує, що T ( n ) = Θ ( n log n ) .$f$$a = b$$f(n) = \Theta(n)$$T(n) = \Theta(n \log n)$

Дві інші категорії алгоритмів, які займають час:$\Theta(n \log n)$

Алгоритми, де кожен елемент обробляється по черзі, і для обробки кожного елемента потрібен логарифмічний час (наприклад, HeapSort або багато алгоритмів обчислювальної геометрії площини).

Алгоритми, де час роботи переважає на етапі попередньої обробки сортування. (Наприклад, в алгоритмі Крускала щодо дерева, що має мінімальний розмір, ми можемо сортувати краї за вагою як перший крок).

Ще одна категорія: Алгоритми, у яких вихід має розмір , і тому running ( n log n ) час роботи є лінійним у розмірі виводу .$\Theta(n \log n)$$\Theta(n \log n)$

Хоча деталі таких алгоритмів часто використовують методи ділення та перемоги, їм це не обов’язково робити. Час роботи в основному випливає з поставленого питання, і тому я думаю, що варто згадати окремо.

Це з'являється в структурах даних, які базуються на розширеному двійковому дереві пошуку, де кожен вузол зберігає структуру даних лінійного розміру для пошуку по листах у піддереві цього вузла. Такі структури даних часто зустрічаються в пошуку геометричного діапазону і часто базуються на схемі декомпозиції . Дивіться опитування Agarwal .

Для конкретного прикладу розглянемо дерево діапазону , створене для відповіді на двомірні ортогональні запити діапазону. Хоча пізніше було зменшено простір за допомогою деяких методів стиснення для упаковки декількох об’єктів в одне слово, підручникова (і найбільш інтуїтивно зрозуміла) версія структури даних вимагає простору (кожен аркуш зберігається у допоміжній структурі на кожному вузол на шляху від листа до кореня, або в O ( журнал п ) місця), а також алгоритм побудови займає багато часу лінійно на вимогу простору .$O(n \log n)$$O(\log n)$

Складність виникає внаслідок алгоритмів ділення та підкорення, які ділять свій вхід на k шматки приблизно однакового розміру за час O ( n ) , діють на ці шматки рекурсивно, а потім об'єднують їх у часі O ( n ) . Якщо ви працюєте лише над деякими елементами, час роботи падає на O ( n ) .$O(n\log n)$$k$$O(n)$$O(n)$$O(n)$

Це, як правило, алгоритми різноманітності "ділити та перемагай", де вартість поділу та комбінування підрозділів не "занадто велика". Подивіться на це поширене запитання, щоб побачити, які види рецидивів спричиняють таку поведінку.

Зазвичай алгоритми ділення і перемоги дають складність O (N log N).

$O(n \log n)$

for (i = 0; i < constant; i++){
    for(j = 0; j < n; j++){
        // Do some O(1) stuff on the input
    }
}

// Alternative Variant:
for (i = 0; i < constant; i++){
    for(j = n; j < constant; j++){
        // Do some O(1) stuff on the input
    }
}

$O(n^2)$

Я не можу навести конкретний приклад алгоритму, який використовує цю петлю, але це часто виникає при кодуванні спеціальних алгоритмів.