В інформатиці нам часто доводиться вирішувати рекурсивні відносини , тобто знаходити закриту форму для рекурсивно визначеної послідовності чисел. Розглядаючи час виконання, нас часто цікавлять переважно асимптотичні темпи зростання послідовності .

Приклади є

1. Час виконання хвостово-рекурсивної функції, що відступає до від , тіло якого вимагає часу :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. Послідовність Фібоначчі :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Кількість слів Dyck з ятими дужками:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. Повторення часу виконання об'єднань у списках довжини :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Які методи вирішення рецидивних відносин? Ми шукаємо

• загальні методи та
• методи для значного підкласу

так добре як

• методи, що дають точні рішення та
• методи, що забезпечують (обмежує) асимптотичний ріст.

^{Це має стати еталонним питанням. Будь ласка, опублікуйте одну відповідь за методом та надайте загальний опис, а також ілюстративний приклад.}

Перетворення повної історії в обмежену історію

Це перший крок у вирішенні рецидивів, коли значення в будь-якому цілому цілому залежить від значень для всіх менших цілих чисел. Розглянемо, наприклад, повторення , яка виникає при аналізі рандомізованого кваксорту . (Тут - ранг випадково вибраного зведення.) Для будь-якого цілого числа значення залежить від усіх з . Рецидиви цієї форми називаються повними рецидивами історії .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Для вирішення цього рецидиву ми можемо перетворити його на обмежений повтор історії , де залежить лише від постійної кількості попередніх значень. Але по-перше, це допомагає трохи спростити рецидиви, зібрати загальні терміни та усунути досадні дроби. Тепер перейти до обмеженого повторення історії , записуємо повторення для , віднімання та регенерації: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Тепер, якщо визначимо і замінимо дріб на більш просту асимптотичну форму , ми отримуємо набагато простіший повтор Розширення цього повторення на підсумовування негайно дає нам , де - е гармонічне число . Робимо висновок, що .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Генерування функцій$\newcommand{\nats}{\mathbb{N}}$

Кожен ряд чисел відповідає функції, що генерує . Часто може бути зручно отримати рецидив, щоб його коефіцієнти - елементи серії - були вибиті.

Ця відповідь включає загальний анзац з повним прикладом, ярлик для окремого випадку та деякі зауваження щодо використання цього методу для отримання асимптотики (навіть якщо точного результату неможливо отримати).

Метод

Нехай ряд чисел. Потім, формальний силовий ряд$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

є звичайною функцією генерування ¹ . Коефіцієнти розширення ряду рівні послідовності, тобто . Наприклад, звичайна функція генерування знаменитих каталонських чисел є A ( z ) [ z n ] A ( z ) = a n C $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

Визначення - це також наш ансац для вирішення рецидиву. Це найкраще працює для лінійних рецидивів, тому для простоти припустімо повторність форми$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

для деяких фіксованих і функція, незалежна від усіх . Тепер ми просто вставляємо як анкери, так і рекурсивну частину в ансаж, тобто f ( n ) : N → N a $b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Використовуючи механіку маніпулювання сумою, властивості формальних рядів потужності та відомі тотожності ², останню праву частину потрібно вивести у закриті форми, як правило, з точки зору . Отримане рівняння можна (часто) розв’язувати для . Послідовне розширення результату (яке може бути легко одержане, відоме чи доступне іншим чином) по суті є рішенням.A ( z $A(z)$$A(z)$

Хороші вступи можна знайти в книзі Вільфа [3] та в GKP [4]. Передові матеріали зібрали Флайолет та Седжевік [5].

Приклад

Розглянемо

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Ми обчислюємо:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Це вирішує питання

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Тепер ми можемо нарешті зачитати

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Як тільки ти звикнеш до цього , ти помічаєш, що це все досить механічно. Насправді комп'ютерна алгебра може зробити все це для вас у багатьох випадках. Добре в тому, що він залишається (більш-менш) тим механіком, навіть якщо повторність є більш складною. Дивіться тут для більш причетного, менш механічного прикладу.

Також зауважте, що загальні прийоми також працюють, якщо шукані об'єкти - це складні числа чи навіть многочлени.

Ярлик

Для лінійних та однорідних рецидивів, тобто такої форми

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

вищезазначене проходить абсолютно однаково, кожен раз. Виконуючи вище обчислення символічно, ми знаходимо наступну лему . Дозволяє

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

бути характерним многочленом (рецидиву). Нехай також (попарно виразні) нулі зазначеного многочлена з кратністю відповідно. Потім бажаний коефіцієнт задається числомr $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

з невідомими . Оскільки характерний многочлен має ступінь , то рівно (складні) нулі, тобто сума до . Таким чином, відсутні коефіцієнти можуть бути визначені шляхом вирішення системи лінійних рівнянь з рівняннями , отриманих шляхом прирівнювання вище формул з будь-якими частини (наприклад , анкери). k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Асимптотика

Як дістатися до закритої форми для як правило, легка частина. Виражаючи це в генерації функцій, ми знаємо, що коефіцієнти (як ми це робили в прикладі) швидко стає важким. Приклади - зверху та один для кількості слів Dyck, згаданих у питанні.C ( z $A(z)$$C(z)$

Для отримання асимптотики для коефіцієнтів можна застосувати складний апарат аналізу, зокрема аналіз сингулярності; мовні слова включають метод Дарбу та метод сідла. Вони засновані на теоремі про залишки та інтегральній формулі Коші . Детальніше див. У розділі [6].

---

1. Можна робити подібні речі за допомогою експоненціалів , Діріхле та деяких інших генеруючих функцій. Те, що найкраще працює, залежить від послідовності, зокрема, чи ви знайдете необхідні закриті форми.
2. Наприклад, з TCS Cheat Sheet або [3].
3. генеруюча функціоналогія Х. Вільфа (1994, 2-е видання) - доступна для вільного скачування
4. Конкретна математика Р.Л. Грем, Д.Є. Кнут та О. Паташник (1994, 2-е видання)
5. Вступ до аналізу алгоритмів Р. Седжевік та П. Флайолета (2-е видання, 2013 р.) - доступне для безкоштовного завантаження
6. Аналітична комбінаторика П. Флайолета та Р. Седжевіка (2009) - доступна для вільного скачування

Теорема магістра

Теорема Master дає асимптотики рішень так званих розділяй і володарюй рецидиви, тобто таким чином, щоб розділити їх параметр в пропорційних шматки (замість зрізання констант). Вони зазвичай трапляються при аналізі (рекурсивних) алгоритмів ділення та підкорення, звідси і назва. Теорема популярна, оскільки її часто неймовірно просто застосувати. З іншого боку, він може застосовуватися лише до повторень такої форми:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

з . Є три випадки$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   для деяких ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   для деяких ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   для деяких і$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   для деяких і .n → $c < 1$$n \to \infty$

які мають на увазі асимптотику

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ і
3. $T \in \Theta \left(f \right)$ ,

відповідно. Зауважте, що базові випадки тут не вказані та не використовуються; це має сенс, враховуючи, що ми досліджуємо лише асимптотичну поведінку. Ми мовчки припускаємо, що вони є деякими константами (що ще вони можуть бути. Які константи ми не бачимо, не мають значення, всі вони зникають у .$\Theta$

Приклади

1. Розглянемо рецидив

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   З і - зауважимо, що ми бачимо, що випадок застосовується з . Тому .b = 3 log b a ≈ 1,26 ε = 0,25 T ∈ Θ ( n log 3 4 ) = Θ ( n 1,226 …$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Розглянемо рецидив

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   З і - зауважимо, що ми бачимо, що два випадки застосовуються при . Тому .b = 2 log b a = 1 k = 0 T ∈ Θ ( n log n $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Розглянемо рецидив

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   З і - зауважимо, що ми бачимо, що у випадку 3 застосовується і . Тому .b = 4 log b a ≈ 0.79 ε = 0.2 c = 1 T ∈ Θ ( n $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Розглянемо рецидив

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Тут маємо , і- у багатьох стандартних прикладах буде поліном , але це не правило. У нас , а третій випадок застосовується знову. Однак у цьому випадку ми можемо вибрати будь-який і як для всіх . Звідси .b = 4 f ( n ) = n ! f log b a = 2 ε c > 0 n ! ∈ Ω ( n k ) k T ∈ Θ ( n ! $a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Подальше читання

• Цілком можливо, що жоден із випадків теореми Майстра не застосовується. Наприклад, підпрограми можуть не мати однакового розміру або мати більш складну форму. Існують деякі розширення до теореми Майстра, наприклад, Акра-Бацци [1] або Рура [2]. Існує навіть версія, яка працює для дискретних повторень (тобто підлоги та стелі використовуються за рекурсивними параметрами) і дає більш чіткі результати [3].

• Зазвичай вам доводиться масажувати фактичне співвідношення рецидивів, яке ви маєте у формі, перш ніж застосувати головну теорему. Загальні перетворення, що зберігають асимптотику, включають випадання підлоги та стелі, а також припущення . Слідкуйте, щоб тут не порушити речі; див. [4] розділ 4.6 та це питання для детальної інформації.$n=b^k$

---

1. Про рішення лінійних рівнянь рецидиву М. Акра та Л. Бацці (1998)
2. Удосконалена головна теорема для повторень поділу і підкорення С. Рура (1997)
   ^{Посилається на інші вдосконалені основні теореми.}
3. Основна теорема для дискретного поділу та підкорення повторень М. Дрмоти та В. Шпанковського (2011)
4. Вступ до алгоритмів Cormen et al. (2009 р., 3-е видання)

Відгадай і доведіть

Або, як я люблю це називати, " техніка". Він може бути застосований до всіх видів посвідчень. Ідея проста:$\dots$

Відгадайте рішення та доведіть його правильність.

Це популярний метод, мабуть, тому що він зазвичай вимагає певної творчості та / або досвіду (добре для демонстрації), але мало механіки (виглядає елегантно). Мистецтво тут - робити добрі, освічені здогадки; доказом є (у нашому випадку) зазвичай більш-менш проста індукція.

При застосуванні до рецидивів типово робиться "здогад"

• розширення рецидиву в кілька разів,
• з'ясування якоря і
• відгадування шаблону для проміжного ( ).$\dots$

Простий приклад

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

визначення кілька разів:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Тут шаблон легко помітити, і це призводить нас до претензії:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Тепер ми доводимо тотожність за допомогою індукції. Для ми можемо встановити правильність, підключивши відповідне значення. Припускаючи, що тотожність має значення для всіх для довільного, але фіксованого , обчислюємоn ′ ≤ n n ≥ $n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

що доводить тотожність силою індукції.

Якщо ви спробуєте скористатися цим способом у більш задіяних рецидивах, ви швидко зіткнетесь з головним недоліком цього методу: це може бути важко бачити візерунок або конденсувати його до приємної закритої форми.

Асимптотика

Можна використовувати цей метод і для асимптотиків. Однак майте на увазі, що вам потрібно вгадати константи символів Ландау, оскільки повинна бути одна константа, яка встановлює межу для всіх , тобто постійний фактор не може змінюватися під час індукції.$n$

Розглянемо, наприклад, повторення періоду виконання Mergesort, спрощене для випадку ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Ми здогадуємось, що з постійною , тобто . Доводимо це індукцією над ; індуктивний крок виглядає приблизно так:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Для не спадаючих послідовностей натуралів кожна нескінченна послідовність має такий самий асимптотичний ріст, що і вихідна послідовність.

Метод Акра-Бацці

Метод Акра-Бацци дає асимптотику для повторень вигляду: Це охоплює звичайні повтори та перемоги, але також випадки, коли поділ неоднаковий. "Умови " можуть забезпечити поділи, які не виходять, наприклад, точними. Умови застосування:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Існує достатньо базових випадків, щоб продовжити рецидив
• і все константи$a_i$$b_i$
• Для всіх ,$i$$a_i > 0$
• Для всіх ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ для деякої постійної як$c$$x \rightarrow \infty$
• Для всіх ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ - константа

Зауважте, що , і як функція пилообразования завжди між 0 і 1, замінюючи (або як відповідне) задовольняє умовам .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Знайдіть таким, що: Тоді асимптотична поведінка як задається через: з "досить великим", тобто є так що для всіх .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Приклад А

Як приклад, візьміть рекурсію для , де : Умови задоволені, нам потрібно : Як пощастить, . Таким чином, у нас є: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

оскільки з ми виконуємо для всіх . Зауважте, що оскільки інтеграл сходиться, навіть якщо ми використовуємо інші константи, наприклад , як нижню межу, законно використовувати і ці; різниця зникає в .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Приклад В

Іншим прикладом є такий для : Маємо , перевірити. Ми маємо, що є один , , який перевіряє. Якщо припустити, що є дійсно та / або , мається на увазі також перевірити. Тому нам потрібно: Таким чином, , і: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Ми застосовуємо аналогічний трюк, як вище нижня межа інтеграла, лише те, що ми використовуємо оскільки інтеграл не збігається за .$2$$1$

( Вдячність визнана допомога максимумів з алгеброю)

Підсумки

Часто стикається з повторенням форми де є монотонним. У цьому випадку ми можемо розширити і так задати вихідне значення , щоб оцінити нам потрібно оцінити суму .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

Не зменшується$f(n)$

Коли монотонно не спадає, ми маємо очевидні межі Ці межі найкраще можливі в тому сенсі, що вони щільні для деяких функцій: верхня межа для постійних функцій, а нижня межа для крокових функцій ( для і для ). Однак у багатьох випадках ці оцінки не дуже корисні. Наприклад, коли , нижня межа а верхня межа , тому вони досить далеко одна від одної.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Інтеграція

оцінку дає інтеграція: Для це дає правильне значення суми до рівня нижчого порядку: Коли ми можемо обчислити суму чітко, але у багатьох випадках явне обчислення є важким. Наприклад, коли антидериват є , і так

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

Формула Ейлера-Маклорена дає кращі оцінки. Ця формула може бути використана, наприклад, для доведення сильних форм формули Стірлінга, шляхом оцінки суми .$\log n! = \sum_{m=1}^n \log m$

не збільшується$f(n)$

У деяких випадках є монотонним, що не збільшується. Тривіальні оцінки стають а інтегральні оцінки Наприклад, для , використовуючи отримуємо $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick і Flajolet провели велику роботу з аналітичної комбінаторики , що дозволяє вирішити рецидиви асимптотично за допомогою комбінації генеруючих функцій та складного аналізу. Їх робота дозволяє вирішити багато рецидивів автоматично, і це було реалізовано в деяких системах комп'ютерної алгебри.

Цей підручник з цього питання написали Флайолет та Седжевік і є чудовою довідкою. Дещо простіша експозиція, орієнтована на програми для аналізу алгоритму, - це текст Седжевіка та Флайолета.

Сподіваюся, це допомагає!

Можливо, трапляються випадки, коли виникає такий дивний рецидив: Якщо ти такий, як я, ти зрозумієш, що не можеш використовувати Теорему Магістра, і тоді ти можеш подумати, " хммм ... можливо, аналіз дерева рецидивів міг би спрацювати ". Тоді ти зрозумієш, що дерево починає швидко накопичуватися. Після деяких пошуків в Інтернеті ви побачите, що метод Акра-Бацци спрацює! Тоді ви насправді починаєте вивчати це і розумієте, що насправді не хочете займатися всією математикою. Якщо ви були подібними до мене до цього моменту, ви будете раді дізнатися, що існує простіший спосіб.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

Теорема нерівномірного розщеплення, частина 1

Нехай і - позитивні константи.$c$$k$

Тоді нехай такі позитивні константи, що .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Ми також повинні мати повторення форми (як наш приклад вище):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Претензія

Тоді я стверджую, що де - константа (наприклад, лінійна асимптотика) і:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Доведення індукцією

Основи :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Індукція : Припустимо, що істинно для будь-якого , ми маємо тоді$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Тоді маємо .$T(n) \leq bn \implies T(n) = O(n)$

Приклад

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Спочатку перевіряємо коефіцієнти всередині рекурсивної суми викликів до меншої одиниці: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Далі перевіряємо, що базовий випадок менший, ніж макс зворотних коефіцієнтів:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

При виконанні цих умов ми знаємо, що де - константа, дорівнює: Тому у нас є: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

Теорема нерівномірного розщеплення, частина 2

Аналогічно ми можемо довести межу для, коли . Доказ буде випливати з того самого формату:$\sum_1^k = 1$

Нехай і - позитивні константи такі, що .$c$$k$$k > 1$

Тоді нехай такі позитивні константи, що .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Ми також повинні мати повторення форми (як наш приклад вище):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Претензія

Тоді я стверджую, що (ми вибираємо base оскільки буде коефіцієнтом розгалуження дерева рекурсії), де і є константами (наприклад, асимптотично лінійна ) такий, що:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ і $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Доведення індукцією

Основи :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Індукція : Припустимо, що істинно для будь-якого , ми маємо тоді$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Тоді маємо .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Приклад

Давайте змінимо цей попередній приклад, ми використовували лише крихітний біт:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Спочатку перевіряємо коефіцієнти всередині рекурсивної суми викликів до однієї:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Далі перевіряємо, що базовий випадок менший, ніж макс зворотних коефіцієнтів:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

З урахуванням цих умов ми знаємо, що де і - константа, що дорівнює: Тому у нас є: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Перевіривши цю публікацію ще раз, я здивований, що тут ще немає.

Перетворення домену / зміна змінних

У роботі з рецидивами іноді корисно мати можливість змінити свій домен, якщо незрозуміло, наскільки глибоко буде проходити стек рекурсії.

Наприклад, візьміть такий повтор:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Як ми могли колись вирішити це? Ми могли б розширити серію, але я обіцяю, що це набереться дуже швидко. Замість цього давайте розглянемо, як змінюється наше введення під час кожного дзвінка.

Спочатку у нас є:

1. $n$ , то
2. $2^{2^{\sqrt{\log \log n}}}$ , то
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ тощо.

Завданням перетворення домену тепер буде змінити наше повторення на еквівалент таким, що замість перерахованих вище переходів у нас просто .$S(k)$$k, k-1, k-2, \ldots$

Наприклад, якщо дозволити , то це те, що ми отримаємо для нашого вище повторення: Тоді ми можемо просто переписати його як: Тоді все, що вам потрібно зробити, це перетворити назад в щоб отримати: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

На цьому прикладі ми можемо бачити свою мету.

Припустимо, Для деякої постійної і функції і .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Зараз ми намагаємося знайти деяку функцію і такою, що $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

Більш загально, ми хочемо, щоб де - це повторне застосування на , разів. (наприклад, ). Це дозволить виконувати функцію "ітерації". Там, де на глибині рекурсії виконана робота просто .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Тоді ми можемо легко перетворити це в так що Тоді нам залишається тільки турбуватися про підсумовування для всіх до заданого базового випадку. Тобто $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Якщо ми можемо визначити для деякої закритої форми функції, то можемо визначити як $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Тоді ми використовуємо це для отримання зв’язку на одним із інших вищевказаних методів. Ви, очевидно, можете трохи змінити цей метод відповідно до вашої специфікації, але в цілому ви намагаєтесь знайти ітераційну функцію щоб перетворити у просту рекурсію.$T(n)$$g(k)$$T(n)$

Я не знаю точного способу визначення на даний момент, але я продовжуватиму думати про це та оновлювати, якщо воно стане зрозумілішим (або якщо у когось із коментаторів є якісь поради!). Я в основному знаходив свої функції шляхом спроб і помилок у минулому (див. Сюди , тут , тут , і ось приклади).$g(k)$$g(k)$

Є ще один підхід, який працює для простих відносин рецидиву: попросіть Вольфрам Альфа вирішити повтор для вас.

Наприклад, спробуйте ввести f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha. Ви отримаєте рішення із посиланням на числа Фібоначчі. Або спробувати f(1)=1, f(n)=f(n-1)+nабо f(1)=1, f(n)=2*f(n-1)+3*nабо f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3для інших прикладів. Однак будьте попереджені: Вольфрам Альфа може вирішити кілька дуже простих рецидивів, але він розпадається на більш складні.

Такий підхід дозволяє уникнути потреби у будь-якому мисленні, яке можна розглядати як помилку чи особливість.

Випадок 2 основної теореми, як зазвичай заявлено, обробляє лише повторення вигляду в якому для . Наступна теорема, взята з подачця Джефрі Леона, дає відповідь на негативний :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Розглянемо повторність з відповідним базовим випадком.$T(n) = a T(n/b) + f(n)$

1. Якщо для тоді .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Якщо для тоді .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Якщо для то ).$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

Доказ використовує метод повторної підстановки, як ми зараз ескізуємо. Припустимо, що і . Тоді для a сила , Тепер розглянемо справи окремо. Коли , ряд сходиться, і так . Коли , сума є гармонічною сумою , і так$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$logba)c=

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Коли , ми можемо наблизити суму за допомогою інтеграла: і так .$c > 0$T(n)=Θ(nlogbalogcn $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$