Сортування функцій за асимптотичним ростом

Припустимо, у мене є список функцій, наприклад

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

Як їх сортувати асимптотично, тобто за відношенням, визначеним

$\qquad f \leq_O g \iff f \in O(g)$ ,

якщо припустити, що вони справді попарно порівнянні (див. також тут )? Використання визначення $O$ видається незручним, і часто важко довести існування придатних констант $c$ і $n_0$ .

Йдеться про заходи складності, тому нас цікавить асимптотична поведінка як $n \to +\infty$ , і ми вважаємо, що всі функції приймають лише негативні значення ( $\forall n, f(n) \ge 0$ ).

Якщо ви хочете суворих доказів, наступна лема часто корисна відповідно. зручніше, ніж визначення.

$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• $c=0 \qquad \ \,\iff f \in o(g)$ ,
• $c \in (0,\infty) \iff f \in \Theta(g)$ і
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$ .

За допомогою цього ви зможете впорядкувати більшість функцій, що надходять у аналіз алгоритму¹. Як вправу, доведіть це!

Звичайно, ви повинні вміти відповідно обчислювати межі. Деякі корисні прийоми для розбиття складних функцій на основні:

• Висловіть обидві функції як та порівняйте експоненти; якщо їх співвідношення має тенденцію до або , то і вихідний коефіцієнт. 0 $e^{\dots}$$0$$\infty$

• Більш загально: якщо у вас є опукла, постійно диференціюється і суворо зростаюча функція щоб ви могли переписати свій коефіцієнт як$h$

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$ ,

  з і$g^* \in \Omega(1)$

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$ ,

  потім

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$ .

  ^{Дивіться тут для суворого докази цього правила (німецькою мовою ).}

• Розгляньте продовження своїх функцій над питаннями. Тепер ви можете використовувати правило L'Hôpital ; пам'ятайте про його умови²!

• Подивіться на дискретний еквівалент, Столц – Чезаро .

• Коли з'являються фабрики, використовуйте формулу Стірлінга :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

Також корисно зберігати пул основних відносин, які ви доводите один раз і використовуєте часто, наприклад:

• логарифми ростуть повільніше, ніж поліноми, тобто

  α , β > $\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$ для всіх .$\alpha, \beta > 0$

• порядок многочленів:

  α<$\qquad\displaystyle n^\alpha \in o(n^\beta)$ для всіх .$\alpha < \beta$

• поліноми ростуть повільніше, ніж експоненціали:

  αc>$\qquad\displaystyle n^\alpha \in o(c^n)$ для всіх і .$\alpha$$c > 1$

---

Може статися, що вище лема не застосовується, оскільки межа не існує (наприклад, коли функції коливаються). У цьому випадку розглянемо наступну характеристику класів Ландау за допомогою limes superior / inferior :

З ми маємо$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 \leq c_s < \infty \iff f \in O(g)$ і
• $c_s = 0 \iff f \in o(g)$ .

З ми маємо$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 < c_i \leq \infty \iff f \in \Omega(g)$ і
• $c_i = \infty \iff f \in \omega(g)$ .

Крім того,

• $0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$ та
• $c_i = c_s = 1 \iff f \sim g$ .

---

Перевірте тут і тут, якщо вас бентежить моє позначення.

---

¹ Nota bene: Мій колега написав функцію Mathematica, яка успішно виконує це для багатьох функцій, тому лемма дійсно зводить завдання до механічних обчислень.

² Дивіться також тут .

Ще одна порада: іноді застосування монотонної функції (наприклад, журналу чи досвіду) до функцій робить речі зрозумілішими.

Скіна надає відсортований перелік домінуючих відносин між найпоширенішими функціями у своїй книзі «Посібник з дизайну алгоритму»:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

Тут позначає зворотну функцію Акермана .$\alpha(n)$

Порада: намалюйте графіки цих функцій, використовуючи щось на зразок Wolfram Alpha, щоб відчути, як вони ростуть. Зауважте, що це не дуже точно, але якщо ви спробуєте це для достатньо великої кількості, вам слід побачити порівняльні закономірності зростання. Це, звичайно, не замінює доказ.

Наприклад, спробуйте: графік журналу (log (n)) від 1 до 10000, щоб побачити окремий графік або журнал графіку (log (n)) та журнал сюжету (n) від 1 до 10000, щоб побачити порівняння.

$n^{\log\log n}$$2^n$

Ми використовуємо властивість, що щоб переписати перший вираз як . Потім ми могли б продовжити використання визначення, щоб показати, що , оскільки для будь-якої постійної , є такий, що для , .$n = 2^{\log n}$$n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$$n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$$c > 0$$n_0$$n \geq n_0$$c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$

Далі пробуємо . Ми порівнюємо його з , найбільшим елементом, який ми розмістили досі. Оскільки , ми аналогічно показуємо, що .$3^n$$2^n$$3^n = (2^{\log 3})^n = 2^{n\log3}$$2^n \in o(3^n) = o(2^{n \log 3})$

І т.д.

Ось список з Вікіпедії : Чим нижче в таблиці більший клас складності;

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

Примітка:$poly(x) = x^{\mathcal{O}(1)}$