O (·) - не функція, тож як функція може бути рівною їй?

Я повністю розумію, що означає велика нотація $O$Моє питання , коли ми говоримо , $T(n)=O(f(n))$ , де $T(n)$ є час роботи алгоритму на вході розміру $n$ .

Я розумію його семантику. Але $T(n)$ і $O(f(n))$ це дві різні речі.

$T(n)$ - точне число, але$O(f(n))$ - це не функція, яка виплює число, тому технічно ми не можемо сказати, що$T(n)$ дорівнює $O(f(n))$ , якщо запитати ви тощо цезначенняз$O(f(n))$ , що б ваша відповідь? Відповіді немає.

Строго кажучи, $O(f(n))$ - це сукупність функцій. Отже, значення $O(f(n))$ - це просто сукупність усіх функцій, які ростуть асимптотично не швидше, ніж $f(n)$ . Позначення $T(n) = O(f(n))$ - просто умовний спосіб записати, що $T(n) \in O(f(n))$ .

Зауважте, що це також пояснює деякі застереження нотації $O$Наприклад, ми пишемо , що $(1/2) n^2 + n = O(n^2)$ , але ніколи не пишуть , що $O(n^2)=(1/2)n^2 + n$ . Цитувати Дональда Кнута (Мистецтво комп’ютерного програмування, 1.2.11.1):

Найважливіший розгляд - ідея односторонніх рівностей . [...] Якщо $\alpha(n)$ і $\beta(n)$ є формулами, які включають $O$ позначення, то позначення $\alpha(n)=\beta(n)$ означає, що набір функцій, позначених $\alpha(n)$ , міститься у множині, позначеній $\beta(n)$ .

$O$ - функція

$$\begin{align} O : (\mathbb{N}\to \mathbb{R}) &\to \mathbf{P}(\mathbb{N}\to \mathbb{R}) \\ f &\mapsto O(f) \end{align}$$ тобто вона приймає функцію$f$і отримує набір функцій, які поділяють асимптотичну межу (максимум)$f$. І строго кажучи, правильні позначення, таким чином, є $$(n \mapsto T(n)) \in O(n\mapsto f(n))$$ або коротким $$T \in O(f)$$ але в математиці, науці та CS зазвичай прийнято використовувати змінну десь у вираз, який позначає, що ви розглядаєтефункції аргументу$n$з обох сторін. Тож $T(n) \in O(f(n))$ є цілком чудовим. $T(n) = O(f(n))$ , як ви підозрювали, майже не так. Це дуже часто використовується, тому обов'язково майте на увазі, що люди мають на увазі, коли вони це пишуть.

Я б радив не писати ніколи $T(n) = O(f(n))$ , але думки відрізняються .

Формально кажучи, $O(f(n))$ - це сукупність функцій $g$ така що $g(n)\leq k\,f(n)$ для деякої постійної$k$ і всіх досить великих $n$ . Таким чином, найбільш педантично точним способом його написання було б$T(n)\in O(f(n))$ . Однак використання$=$ замість $\in$ є цілком стандартним, а$T(n)=O(f(n))$ просто означає$T(n)\in O(f(n))$ . Це по суті ніколи не є неоднозначним, оскільки ми майже ніколи не маніпулюємо множиною$O(f(n))$ .

У певному сенсі використання рівності означає, що $O(f(n))$ означає "деяку функцію $g$ таку, що $g(n)\leq f\,g(n)$ для всіх досить великих $n$ ", і це означає, що ви можете писати такі речі, як$f(n) = 3n + O(\log n)$ . Зауважте, що це набагато точніше, ніж, наприклад,$f(n)=\Theta(n)$ або$f(n)=O(n+\log n)$ .

Пролог: Велика нотація $O$ є класичним прикладом сили та неоднозначності деяких позначень як частини мови, яку любить людський розум. Скільки б непорозумінь це не спричинило, залишається вибір позначення для передачі ідей, які ми можемо легко визначити і погодитись ефективно.

Я повністю розумію, що означає велика нотація $O$Моє питання , коли ми говоримо , $T(n)=O(f(n))$ , де $T(n)$ є час роботи алгоритму на вході розміру $n$ .

Вибачте, але у вас немає проблеми, якщо ви розумієте значення великої нотації $O$

Я розумію його семантику. Але $T(n)$ і $O(f(n))$ це дві різні речі. $T(n)$ - точне число, але $O(f(n))$ - це не функція, яка виплює число, тому технічно ми не можемо сказати, що $T(n)$ дорівнює $O(f(n))$ , якщо запитати ви то , що це значення з $O(f(n))$ , яка б ваша відповідь? Відповіді немає.

Важливою є семантика . Важливо, що (як) люди можуть легко домовитись про (одне) його точне тлумачення, яке описуватиме асимптотичну поведінку чи складність у часі чи просторі, що нас цікавить. Точне тлумачення / визначення $T(n)=O(f(n))$ , як перекладено з Вікіпедії ,

$T$ - реальна або складна значення функції, а$f$ - реальна цінна функція, обидві визначені на деякому необмеженому підмножині реальних додатних чисел, таким чином, що$f(n)$ є строго позитивним для всіх досить великих значень$n$ . Для всіх достатньо великих значень$n$ абсолютне значення$T(n)$ є щонайбільше позитивною постійною кратною$f(n)$ . Тобто існує позитивне дійсне число$M$ і дійсне число$n_0$ таке

${\text{ for all }n\geq n_{0}, |T(n)|\leq \;Mf(n){\text{ for all }}n\geq n_{0}.}$

Зверніть увагу, що це тлумачення вважається визначенням . Усі інші тлумачення та розуміння, які можуть вам дуже допомогти різними способами, є вторинними та наслідками. Кожен (ну, принаймні кожен відповідач тут) погоджується з цим тлумаченням / визначенням / семантикою. Поки ви можете застосовувати цю інтерпретацію, ви, мабуть, добрі більшість часу. Відпочиньте і будьте затишними. Ви не хочете занадто багато думати, так само, як не надто замислюєтесь про якусь неправильність англійської чи французької чи більшості природних мов. Просто використовуйте позначення за цим визначенням.

$T(n)$ - точне число, але$O(f(n))$ - це не функція, яка виплює число, тому технічно ми не можемо сказати, що$T(n)$ дорівнює $O(f(n))$ , якщо запитати ви тощо цезначенняз$O(f(n))$ , що б ваша відповідь? Відповіді немає.

Дійсно, відповіді не могло бути, оскільки це питання неправильне. $T(n)$ не означає точне число. Мається на увазі функція, назва якої $T$ і формальний параметр $n$ (яка на зразок обмежена $n$ в $f(n)$ ). Це так само правильно і тим більше, якщо ми запишемо $T=O(f)$ . Якщо $T$ - функція, яка відображає $n$ до $n^2$ а $f$ - функція, яка відображає $n$ до $n^3$, також умовно записати $f(n)=O(n^3)$ або $n^2=O(n^3)$ . Зверніть також увагу, що у визначенні не сказано, що $O$ є функцією чи ні. Це не говорить про те, що ліва сторона повинна взагалі дорівнювати правій! Ви праві підозрювати, що знак рівності не означає рівність у звичайному розумінні, де ви можете переключити обидві сторони рівності, і це повинно бути підкріплено рівним відношенням. (Ще один більш відомий приклад зловживання знаком рівності - використання знака рівності для позначення призначення у більшості мов програмування, а не більш громіздкого, :=як у деяких мовах.)

Якщо нас хвилює лише одна рівність (я також починаю зловживати мовою. Це не рівність ; проте, це рівність, оскільки в позначеннях є знак рівності, або це може розглядатися як якась рівність ), $T(n)=O(f(n))$ , ця відповідь зроблена.

Однак питання насправді продовжується. Що це означає, наприклад, $f(n)=3n+O(\log n)$ ? Вищенаведене визначення не охоплюється цією рівністю. Ми хотіли б запровадити ще одну конвенцію, конвенцію про заповнення . Ось повний виклад конвенції про заповнення заповнення, як зазначено у Вікіпедії .

При більш складному використанні $O(\cdots)$ може з'являтися в різних місцях рівняння, навіть по кілька разів на кожній стороні. Наприклад, для $n\to \infty$ справедливо наступне .

$(n+1)^{2}=n^{2}+O(n)$
$(n+O(n^{1/2}))(n+O(\log n))^{2}=n^{3}+O(n^{5/2})$
$n^{O(1)}=O(e^{n})$

Сенс таких висловлювань полягає в наступному: для будь-яких функцій, які задовольняють кожну $O(\cdots)$ з лівого боку, є деякі функції, що задовольняють кожну $O(\cdots)$ з правого боку, такі, що заміщення всіх цих функцій в рівняння робить дві сторони рівні. Наприклад, третє вище рівняння означає: "Для будь-якої функції $f(n) = O(1)$ існує деяка функція $g(n) = O(e^n)$ така, що $n^{f(n)} = g(n)$. "

Ви можете перевірити тут ще один приклад конвенції про заповнення заповнення дії.

Ви, можливо, вже помітили, що я не використовував теоретико-множинне пояснення великої $O$ нотації. Все, що я зробив, це просто показати навіть без того теоретико-множинного пояснення, як-от " $O(f(n))$ - це набір функцій", ми можемо зрозуміти велике $O$ позначення повністю і досконало. Якщо ви вважаєте, що теоретико-теоретичне пояснення корисне, будь-ласка, будь-ласка, продовжуйте все одно.

$\Theta$$\Omega$$o$$\omega$

$O$

У Посібнику з проектування алгоритму [1] ви можете знайти абзац щодо цього питання:

$O$$\Omega$$\Theta$$n^2 = O(n^3)$$n^2$$O(n^3)$

$\Theta$$O$$\Omega$

$O(f(n))$$\in$

---

[1] Скіена, С. С. Посібник з проектування алгоритму (друге видання). Спрингер (2008)

$$f = O(g)$$ $$\text{there exists } h \in O(g) \text{ such that }f = h\,.$$

$f(n) = n^3 + O(n^2)$$g(n) \in O(n^2)$$f(n) = n^2 + g(n)$

Я вважаю цю екзистенційну інтерпретацію кількісних показників настільки корисною, що я спокушаюся писати такі речі

$$f(n) \leq O(n^3)$$

$C$$f(n) \leq C n^3$

$n^2 = O(n^3)$$n^2$$n$$O(n^3)$$n$$n^2$$O(n^3)$

$O$$=$$= O$>=

$O(mn)$$O(n^c)$$c$$O(n)$$n$$O(2^b)$

Все це означає, що Біг-О - це неофіційна нотація, заточена неточністю, і вам часто доводиться використовувати інший контекст, щоб зрозуміти, що говорить автор.

$= O$$\in O$

Тільки щоб підкреслити тему, яку було зроблено декілька разів, дозвольте мені навести цитату з Н.Г. де Бреййна " Асимптотичні методи аналізу" :

$O$$0 < x < \infty$$O(1) + O(x^2)$$f(x) + g(x)$$f(x) = O(1)\,\,(0 < x < \infty)$$g(x) = O(x^2)\,\,(0 < x < \infty)$$x^{-1}O(1) = O(1) + O(x^{-2})$$x^{-1}O(1)$$O(1) + O(x^{-2})$. Іноді ліва частина відношення - це не клас, а єдина функція [...]. Тоді відношення означає, що функція зліва є членом класу праворуч.

$=$$O(x) = O(x^2)\,\,(x \rightarrow \infty)$$O(x^2) = O(x)\,\,(x \rightarrow \infty)$$=$

$=$

Сказавши це, нотація Бендера та Орзага (з передових математичних методів для вчених та інженерів ) набагато менш заплутана і варто задуматися. Щодо деякої межі, ми говоримо:

$$f(x) \sim g(x)\,\,(x \rightarrow x_0)$$

$f$$g$

$$\lim_{x \rightarrow x_0} \frac{f(x)}{g(x)} = 1$$

і:

$$f(x) \ll g(x)\,\,(x \rightarrow x_0)$$

$f$$g$

$$\lim_{x \rightarrow x_0} \frac{f(x)}{g(x)} = 0$$

Але я припускаю, що перевага нота-о-о полягає в тому, що постійний фактор є довільним. (І для позначення мало-о, постійний фактор - це все, що ви.)

Я перейшов це через stackoverflow ; в той час як, можливо, найправильніша відповідь на ОП вже була заявлена ​​вище (класи еквівалентності, перезаписані нижче як №1), ось повна відповідь:

1. $f= O(\cdot)$$f \in O(\cdot)$$\{\frac{1}{2} x^2, (5 x^2-x+5), 2.5x,...\}$$x^2$$O(x^2) < O(x^3) = O(x^3 + x)$ (деякі набори можуть бути незрівнянними; DAG; див. ієрархію поліномів для цікавого прикладу).

   $f= \Theta(\cdot)$$f \in \Theta(\cdot)$f X g$f \in O(g)$$f \in O(g)$$g \in f(g)$$O(g)$$\Theta$

2. $f \in \Theta(g)$$x_0$$x>x_0$$g$$f$$LOW*g(x) \le f(x) \le HIGH*g(x)$$O(g)$$k_1g(x)+err(x)$$0 \le err(x) \le k_2g(x)$$x>x_0$$x\le x_0$$f = 2^{\Theta(x^2)}$$f(x)=2^{k_1x^2+err(x)}$$0 \le err(x) \le k_2x^2$. Ми б ніколи цього не записували ... бо це трохи нерозумно. Але я вважаю, що можна вважати законним саме так, і зберегло б поняття рівності. (Я відхиляюсь від правильного лікування негативних ознак тут, що може бути важливо.)

   $O$$\Theta$

Більш точною відповіддю було б те, що коли ми кажемо, що функція f - "велика O функції g". (Тобто x ^ 2 + x є O (x ^ 2)), ми говоримо, що f (x) <C * g (x) для деякого значення C і k, де x> k. Це означає, що g - верхня межа для поведінки f.

Приклад

x ^ 2 + 10x 4 є O (x ^ 2 + x), що є самим O (x ^ 2)