Як довести жадібний алгоритм правильно

У мене є жадібний алгоритм, який я підозрюю, що може бути правильним, але я не впевнений. Як перевірити, чи правильно це? Які методи використовувати для доказування жадібного алгоритму правильним? Чи є загальні візерунки чи методи?

^{Я сподіваюся, що це стане еталонним питанням, яке можна використовувати для вказівки на початківців; отже, її більш широка, ніж зазвичай, сфера застосування. Будь ласка, не забудьте дати загальні, дидактично представлені відповіді, які проілюстровані хоча б одним прикладом, але, тим не менш, охоплюють багато ситуацій. Спасибі!}

Зрештою, вам знадобиться математичний доказ правильності. Я перейду до деяких методів доказування для цього нижче, але спочатку, перш ніж зануритися в це, дозвольте мені заощадити трохи часу: перш ніж шукати доказ, спробуйте випадкове тестування.

Випадкове тестування

В якості першого кроку я рекомендую скористатися випадковим тестуванням для тестування алгоритму. Дивно, наскільки це ефективно: на мій досвід, для жадібних алгоритмів випадкове тестування здається нерозумно ефективним. Витратьте 5 хвилин, кодуючи свій алгоритм, і ви можете заощадити годину чи дві, намагаючись знайти доказ.

Основна ідея проста: реалізуйте свій алгоритм. Також застосуйте довідковий алгоритм, який ви знаєте правильним (наприклад, той, який вичерпно намагається використати всі можливості та скористається найкращим). Це добре, якщо ваш довідковий алгоритм асимптотично неефективний, оскільки ви запускаєте це лише в невеликих проблемних випадках. Потім генеруйте випадковим чином мільйон невеликих проблемних екземплярів, запустіть обидва алгоритми на кожному та перевірте, чи алгоритм вашого кандидата дає правильну відповідь у кожному випадку.

Якщо емпіричний алгоритм вашого кандидата є неправильним, зазвичай ви часто виявляєте це під час випадкового тестування. Якщо це здається правильним у всіх тестових випадках, то слід перейти до наступного кроку: придумати математичний доказ коректності.

Математичні докази правильності

Гаразд, тому нам потрібно довести, що наш жадібний алгоритм правильний: він виводить оптимальне рішення (або, якщо є кілька оптимальних рішень, які однаково хороші, що він виводить одне з них).

Основний принцип - інтуїтивний:

Принцип: Якщо ви ніколи не зробите поганий вибір, ви зробите все гаразд.

Жадібні алгоритми зазвичай передбачають послідовність вибору. Основна стратегія доказування полягає в тому, що ми намагаємося довести, що алгоритм ніколи не робить поганого вибору. Жадібні алгоритми не можуть відмовитися - як тільки вони роблять вибір, вони віддані і ніколи не скасовують цей вибір - тому важливо, що вони ніколи не роблять поганого вибору.

Що б вважати вдалим вибором? Якщо є єдине оптимальне рішення, легко зрозуміти, що є хорошим вибором: будь-який вибір, ідентичний вибору, зробленому оптимальним рішенням. Іншими словами, ми спробуємо довести, що на будь-якому етапі виконання жадібних алгоритмів послідовність виборів, зроблених алгоритмом, поки що точно відповідає деякому префіксу оптимального рішення. Якщо є кілька однаково хороших оптимальних рішень, хорошим вибором є той, який відповідає хоча б одному з оптимумів. Іншими словами, якщо послідовність вибору алгоритму поки що відповідає префіксу одного з оптимальних рішень, поки що все нормально (ще нічого не пішло не так).

Щоб спростити життя та усунути відволікання, зупинимось на тому випадку, коли немає зв’язків: є єдине, унікальне оптимальне рішення. Вся техніка перенесеться на той випадок, коли може бути кілька однаково хороших оптимів без будь-яких кардинальних змін, але ви повинні бути трохи уважнішими щодо технічних деталей. Почніть з ігнорування цих деталей та зосередження уваги на тому випадку, коли оптимальне рішення унікальне; це допоможе вам зосередитись на тому, що є важливим.

Існує дуже поширена модель підтвердження, яку ми використовуємо. Ми будемо наполегливо працювати, щоб довести наступну властивість алгоритму:

Твердження: Нехай - вихід рішення за алгоритмом, а O - оптимальне рішення. Якщо S відрізняється від O , то ми можемо підправити O , щоб отримати інше рішення O * , який відрізняється від O і строго краще , ніж O .$S$$O$$S$$O$$O$$O^*$$O$$O$

Зверніть увагу, чому це корисно. Якщо твердження вірно, з цього випливає, що алгоритм правильний. Це в основному доказ протиріччя. Або є таким самим, як O, або він різний. Якщо це інше, то ми можемо знайти інше рішення O ∗, що суворо краще, ніж O - але це суперечність, оскільки ми визначили, що O є оптимальним рішенням, і не може бути жодного рішення, яке краще, ніж це. Тому ми змушені зробити висновок, що S не може відрізнятися від O ; S завжди повинен дорівнювати $S$$O$$O^*$$O$$O$$S$$O$$S$$O$тобто алчний алгоритм завжди виводить правильне рішення. Якщо ми можемо довести твердження вище, то ми довели, що наш алгоритм правильний.

Чудово. Тож як ми доводимо претензію? Ми розглядаємо рішення як вектор ( S 1 , ... , S n ), який відповідає послідовності n виборів, зроблених алгоритмом, і аналогічно ми вважаємо оптимальним рішення O як вектор ( O 1 , ... , про п ) , відповідний послідовності варіантів , які привели б до O . Якщо S відрізняється від O , повинен існувати деякий індекс i, де S i$S$$(S_1,\dots,S_n)$$n$$O$$(O_1,\dots,O_n)$$O$$S$$O$$i$ ; ми зосередимось на найменших таких я . Тоді ми налаштуємо O ,трохизмінивши O в i- му положенні, щоб відповідати S i , тобто, ми налаштуємо оптимальне рішення O , змінивши i- й вибір на той, який вибрали жадібний алгоритм, а потім ми покажемо, що це призводить до ще кращого рішення. Зокрема, ми визначимо O * бути щощось на зразок$S_i \ne O_i$$i$$O$$O$$i$$S_i$$O$$i$$O^*$

за винятком того, що часто нам доведеться трохи змінювати частину щоб підтримувати глобальну послідовність. Частина стратегії доказування передбачає певну розумність у належному визначенні O ∗ . Тоді м'ясо доведення буде якось використовувати факти про алгоритм і проблему, щоб показати, що O ∗ суворо краще, ніж $O_{i+1},O_{i+2},\dots,O_n$$O^*$$O^*$$O$; саме тут вам знадобляться конкретні проблеми. У якийсь момент вам потрібно буде зануритися в деталі вашої конкретної проблеми. Але це дає відчуття структури типового доказу правильності алчного алгоритму.

Простий приклад: Підмножина з максимальною сумою

Це може бути простіше зрозуміти, детально розробивши простий приклад. Розглянемо наступну проблему:

Вхід: набір цілих чисел, ціле число k Вихід: Набір S ⊆ U розміром k , сума якого максимально більша$U$$k$
$S \subseteq U$$k$

Для цієї проблеми існує природний жадібний алгоритм:

1. Встановити .$S := \emptyset$
2. Для : $i := 1,2,\dots,k$
   • Нехай - найбільше число в U, яке ще не було вибране (тобто i- е найбільше число в U ). Додати е I в S .$x_i$$U$$i$$U$$x_i$$S$

Випадкове тестування передбачає, що це завжди дає оптимальне рішення, тому давайте офіційно доведемо, що цей алгоритм є правильним. Зауважте, що оптимальне рішення унікальне, тому нам не доведеться турбуватися про зв’язки. Доведемо викладене вище твердження:

Твердження: Нехай - рішення, що виводиться за цим алгоритмом на вході U , k і O - оптимальне рішення. Якщо S ≠ O , то ми можемо побудувати інше рішення O * , сума навіть більше , ніж O .$S$$U,k$$O$$S \ne O$$O^*$$O$

Доказ. Припустимо , , і нехай я бути індексом першої ітерації , де х я ∉ виведення . (Такий індекс i повинен існувати, оскільки ми припустили, що S ≠ O і за визначенням алгоритму маємо S = { x 1 , … , x k } .) Оскільки (за припущенням) i мінімально, ми повинні мати x 1 , … , x i - 1 ∈ O , і зокрема,$S \ne O$$i$$x_i \notin O$$i$$S \ne O$$S=\{x_1,\dots,x_k\}$$i$$x_1,\dots,x_{i-1} \in O$ має вигляд O = { x 1 , x 2 , … , x i - 1 , x ′ i , x ′ i + 1 , … , x ′ n } , де числа x 1 , … , x i - 1 , x ′ i , … , x ′ $O$$O=\{x_1,x_2,\dots,x_{i-1},x'_i,x'_{i+1},\dots,x'_n\}$$x_1,\dots,x_{i-1},x'_i,\dots,x'_n$перераховані у порядку зменшення. Дивлячись на те, як алгоритм вибирає , ми бачимо, що для всіх j ≥ i ми повинні мати x i > x ′ j . Зокрема, x i > x ′ i . Отже, визначимо O = O ∪ { x i } ∖ { x ′ i } , тобто отримаємо O ∗ шляхом видалення i- го числа в $x_1,\dots,x_i$$x_i > x'_j$$j\ge i$$x_i > x'_i$$O^ = O \cup \{x_i\} \setminus \{x'_i\}$$O^*$$i$$O$і додавання . Тепер сума елементів O * є сумою елементів O плюс х I - х ' я , і х I - х ' я > 0 , так що O * «сума s строго більше , ніж O » сума s. Це доводить претензію. $x_i$$O^*$$O$$x_i-x'_i$$x_i-x'_i>0$$O^*$$O$$\blacksquare$

Інтуїція тут полягає в тому, що якщо жадібний алгоритм коли-небудь робить вибір, несумісний з , то ми можемо довести, що O може бути ще кращим, якби він був модифікований, щоб включати елемент, вибраний жадібним алгоритмом на цьому етапі. Оскільки О є оптимальним, не може бути жодного способу зробити його ще кращим (це було б суперечливістю), тому єдиною залишається можливістю, щоб наше припущення було невірним: іншими словами, жадібний алгоритм ніколи не зробить вибір що не узгоджується з O .$O$$O$$O$$O$

Цей аргумент часто називають обмінним аргументом або обмінною лемою . Ми знайшли перше місце, де оптимальне рішення відрізняється від жадібного рішення, і ми уявили собі обмін цього елемента на відповідний жадібний вибір (обміняли х ' i на х i ). Деякий аналіз показав, що цей обмін може лише покращити оптимальне рішення - але, за визначенням, оптимальне рішення не можна покращити. Тож єдиний висновок полягає в тому, що не повинно бути місця, де оптимальне рішення відрізняється від жадібного рішення. Якщо у вас є інша проблема, шукайте можливості застосувати цей принцип обміну у вашій конкретній ситуації.$O$$x'_i$$x_i$

Я буду використовувати приклад наступного простого алгоритму сортування:

repeat:
  if there are adjacent items in the wrong order:
     pick one such pair and swap
  else
     break

Для доказу правильності я використовую два кроки.

• Спочатку я показую, що алгоритм завжди припиняється.
• Потім я показую, що рішення, де воно припиняється, - це те, що я хочу.

Для першого пункту я вибираю відповідну функцію витрат, за якою можу показати, що алгоритм покращує його на кожному кроці.

Для цього прикладу я вибираю кількість інверсій у вхідному списку. Інверсія у списку - пара записів A [ i ] , A [ j ], така що A [ i ] > A [ j ], але i < j . Кількість інверсій завжди невід'ємна, а відсортований список має 0 інверсій.$A$$A[i]$$A[j]$$A[i] > A[j]$$i<j$

$A[i]$$A[i+1]$$A[i],A[i+1]$

Це доводить, що алгоритм з часом припиняється.

Кількість інверсій у відсортованому списку дорівнює 0. Якщо все піде добре, алгоритм зменшить кількість інверсій до 0. Нам потрібно лише показати, що він не зациклюється на локальному мінімумі.

Я зазвичай доводжу це протиріччям. Я припускаю, що алгоритм зупинився, але рішення невірне. У прикладі це означає, що список ще не відсортований, але сусідніх елементів у неправильному порядку немає.

$A[i]$$A[j]$$i<j$$A[i]>A[j]$$i$$j$$i+1 < j$$A[i]<A[i+1]$ and $A[i+1]<A[j]$, but then $A[i]<A[j]$ and we have a contradiction.

This proves that the algorithm only stops when the list is sorted. And hence we're done.