Сортування із середнім значенням порівнянь

Чи існує алгоритм сортування на основі порівняння, який використовує середнє порівняння ?$\mathrm{lg}(n!)+o(n)$

Існування найгіршого випадку алгоритму порівняння є відкритою проблемою, але середнього випадку достатньо для рандомізованого алгоритму з очікуваним порівняння для кожного введення. Значення полягає в тому, що це порівняння від оптимальних, витрачаючи в середньому лише порівняння на елемент.$\mathrm{lg}(n!)+o(n)$$\mathrm{lg}(n!)+o(n)$$\mathrm{lg}(n!)+o(n)$$o(n)$$o(1)$

Оскільки у мене вже є такий алгоритм, я включаю його як відповідь (використовуючи формат Q / A ), але я вітаю додаткові відповіді, включаючи інші алгоритми, чи такий алгоритм був уже відомий, вдосконалюючи , і найгірше - case .$o(n)$$\mathrm{lg}(n!)+o(n)$

Попередня робота:
Сортування сортування використовує $\mathrm{lg}(n!)+ Θ(n)$ порівняння (навіть у гіршому випадку).
Сортування вставки (також відоме як сорт Форд-Джонсон) також використовує $\mathrm{lg}(n!)+ Θ(n)$ порівняння, але зі значно меншою константою у $Θ(n)$ .
Покращена середня складність для порівняння на основі порівняння (Казуо Івама та Хунічі Теруяма) - їх (1,2) алгоритм введення нагадує частину моєї відповіді нижче.

Оновлення: я розширив цю відповідь на папері Сортування із середнім з порівнянь$\mathrm{lg}(n!)+o(n)$ .

Так, такий алгоритм існує. Я буду лише доводити, що пов'язаний, але під вірогідним припущенням рандомізації ми також отримаємо . Я також опишу спробу і .$\mathrm{lg}(n!)+o(n)$$\mathrm{lg}(n!)+O(n^{1-ε})$$n^{0.5+o(1)}$$O(n^{0.5-ε})$

Ми можемо вважати, що всі елементи є різними, анотуючи їх у разі потреби; середній випадок використовує різні елементи у випадковому порядку. Ми можемо обчислити середню кількість порівнянь, додавши втрати ентропії за кожне порівняння відносно використання справедливої ​​монети.

Відправною точкою є сортування вставкою з двійкового пошуку , щоб вирішити , куди вставити наступний елемент в відсортоване підмножина . Коли , вставка використовує не більше зіставлень, що (з точки зору ентропії) є оптимальним до коефіцієнта адитивного (а для середньої складності - також працює). Тепер, колине наближається до потужності 2, вставлення елемента є неоптимальним (навіть у середньому випадку та незалежно від того, як ми врівноважуємо кожен запит), але якби витрачати порівняння, ми могли б керувати до приблизно рівномірного розподілу через інтервал від$S$$(1-ε)2^m ≤ |S| ≤ 2^m-1$$m$$O(ε)$$2^m ≤ |S| ≤ (1+ε) 2^m$$|S|$$A$$o(1)$$A$$S$Довжина близька до потужності 2, отримуємо бажану оптимальність.

Ми досягаємо цього, додаючи елементи в партії, а іноді і ефективно порівнюючи елементи партії один з одним, таким чином, що інтервал відповідний елементу зменшується квазі випадковим чином (і з розподілом ймовірності всередині інтервалу майже рівномірні), і , коли довжина інтервалу досить близько до влади 2, роблячи бінарний пошук для вставки .$S$$A$$A$$A$

Поширені конструкції

Ми будемо тримати підмножина відсортованих елементів, і для кожного елемента несортоване , ми будемо стежити за мінімальним інтервалом з , де , як відомо, знаходиться. - довжина ; по тотожності інтервалів.$S$$A$$I_A$$S$$A$$|I_A|$$I_A$$I_A=I_B$

Нехай буде: Порівняйте з , а потім (у випадковому порядку) порівняйте і проти відповідних елементів до тих пір, поки їх інтервали не будуть роз'єднані (або мають довжину 1). Елемент вибирається (послідовно), щоб зробити ймовірності порівняння максимально близькими до 1/2, припускаючи, що коли викликається , рівномірно розподілено на . Через нерозбірливість зрештою, зберігає припущення про рівномірність.$\mathrm{Compare}(A,B)$$A$$B$$A$$B$$S$$S$$\mathrm{Compare}$$(A,B)$$I_A⨯I_B$$\mathrm{Compare}$

Наступні розділи можна читати незалежно один від одного.

алгоритм$\mathrm{lg}(n!)+o(n)$

Дано: відсортований список та партія несортованих елементів; ; невідсортовані елементи є випадковими по відношенню до .$S$$m$$m∈ω(1)∩o(|S|)$$S$

Повторіть (1) - (3), поки це можливо:
1. Виберіть два елементи і з партії за допомогою (будь-який вибір буде працювати). 2. Виконати . 3. Якщодостатньо близький до потужності 2, ^{(примітка 1)} вийміть з партії (не забуваючи ); і зробити так само з . Нарешті: Вставте всі елементи в та завершіть сортування.$A$$B$$I_A=I_B$
$\mathrm{Compare}(A,B)$
$|I_A|$$A$$I_A$$B$
$S$

Примітка 1: Для "достатньо близького" будь-яка відносна похибка (як функція ) працює до тих пір, поки елементи будуть видалені на кроці (4) (можливо, примітка 2). За припущенням рандомізації, використовуючи відносна помилка захоплює елементів, що дозволяє середній алгоритм сортування порівняння.$o(1)$$m$$m-o(m)$$c \log \log m / \log m$$m(1-\log^{-Θ(c)}m)$$\mathrm{lg}(n!)+O(n \log \log n / \log n)$

Примітка 2: Оскільки однакова послідовність порівнянь призводить до одного і того ж обмежувального інтервалу, майже всі елементи пройдуть через крок (1) рази (якщо їх не видалено на кроці 4). На початку, якщо і виберемо , порівняємо з елементом , і кожен додаток кроку (3) до має ймовірність зниженняв разів. Тепер для кожного відношення що не є раціональною силою 2, маємо , і тому отримаємо$Ω(\log m)$$A < B$$A$$A$$S[≈(1-1/\sqrt{2})|S|]$$A$$O(1)$$|I_A|$$≈1/(1-1/\sqrt{2})$$a>1$$∀ε>0 ∀d>0 ∃m,n∈\mathbb{N} \,\, 1-ε < \frac{a^m}{d2^n} < 1+ε$$o(n)$ пов'язаний.

Вірогідний алгоритм$\mathrm{lg}(n!)+O(n^{1-ε})$

Модулюючи припущення про рандомізацію, ми можемо досягти середніх порівнянь наступним чином.$\mathrm{lg}(n!)+O(n^{1-ε})$

• Довільно перемішуйте елементи та сортуйте першу половину у списку , зберігаючи другу половину як несортовану партію.$S$

• Повторюйте, поки партія не буде порожньою:
  Випадково виберіть . Нехай . Якщо порожній, видаліть з партії і вставок в . Інакше:$A∈\text{batch}$$G = \{ B∈\text{batch}: |P(A < B) - 0.5| < n^{-0.51ε} \}$$G$$A$$S$
  

  1. Якщо є такий, що з ймовірністю (скажімо, ≥0,05), робитьв межах відносна похибка потужності 2, запустіть і, якщо є успішною (тобто знаходиться в межах відносної похибки потужності 2) , видалити з партії і вставок в .$B∈G$$Θ(1)$$\mathrm{Compare}(A,B)$$|I_A|$$n^{-ε}$$\mathrm{Compare}(A,B)$$|I_A|$$n^{-ε}$$A$$S$
     
  2. Якщо такого немає , запустіть для випадкового .$B∈G$$\mathrm{Compare}(A,B)$$B∈G$

Якщо наше припущення про рандомізацію спрацьовує (тобто розподіл довжин інтервалів та позицій є досить випадковим), то впродовж більшої частини процесу типовий може бути ефективно порівняний з вибором елементів (з різної довжини інтервалу). Таким чином, ми можемо обирати порівняння для (1) вище, і якщо нам не пощастить з результатом порівняння, ми все одно отримаємо шанси, тим самим досягаючи (якщо досить малий, скажімо 0,01) a -алгоритм порівняння. З деякими змінами та наближеннями загальний обчислення можна зробити квазілінійним: Дано елемент$A$$n^{Θ(1)}$$n^{Θ(1)}$$Θ(\log n)$$ε$$\mathrm{lg}(n!)+O(n^{1-ε})$$A$, обчисліть багатообіцяючі довжини інтервалів, а потім знайдіть s правильним приблизним довжиною центру та інтервалу.$B$

Існує кілька способів оптимізації порівнянь, але перешкодою є те, що кожне порівняння може виявитися невдалим, і у нас є обмежена кількість порівнянь. Якщо після оптимізації робить в середньому 4 порівняння і 'успішно' з 1/4 ймовірністю, отримаємо .$\mathrm{Compare}(A,B)$$ε≈(1-ε)/4/\log_{4/3} 2 ≈ 0.09$

Можливо, набагато кращим підходом є почекати, поки інтервал не наблизиться до потужності 2, контролюючи не окремі довжини інтервалу, а розподіл довжин.

Спроба алгоритму$\mathrm{lg}(n!)+n^{0.5+o(1)}$

Припустимо, що і нам задано несортовану партію з елементів з також заданими інтервалами , зяк правило, і з розподіляється рівномірно (до випадкової помилки та тримається з достатньою точністю, навіть якщо це обумовлено ). Тоді ми можемо сортувати елементи, витрачаючи в середньому порівнянь так: (*) Вставте всі елементи в порядку їх початкового . Таким чином всі елементи вставляються, коли їх довжина інтервалу близька до сили 2.$|S|=n$$n$$I_A$$|I_A|$$n^{1-o(1)}$$\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$$A < S[i]$$n^{0.5+o(1)}$
$\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$

Алгоритм сортування буде: Довільний перетасувати список і сортування першу половину . Щоб вставити другу половинку, зробіть правильний розподіл і виконайте (*) вище.$S$

Щоб зробити справа розподілу, ми можемо зробити "випадковий" розподіл, а потім утримати праву частку елементів для кожного під час рандомізації решти (повторення, якщо потрібно). Однак, хоча це має виправити всьому світі ми не знаємо, чи можна керувати ним локально з необхідною точністю (звідси слово "спроба" вище).$\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$$|I_A|/2^{\lfloor \mathrm{lg} |I_A| \rfloor}$$\frac{|I_A|}{2^{\lfloor \mathrm{lg} |I_A| \rfloor}}$

Щоб зробити "випадковий" розподіл, ми можемо випадковим чином використовувати з , за винятком того, що з початковим всі однакові, ми не очікуємо рандомізації на сублогарифмічній глибині (тобто з досить довго). Однак я здогадуюсь, що ми отримуємо рандомізацію на сублогоарифмічній глибині, використовуючи узагальнення (можливо, спрацює будь-який розумний вибір) елементів з елементами: Якщо ми збережемо елементи заплутаними (тобто пов'язане з використанням результатів порівняння), ми повинні мати про некоммутірующего вибору для кожного порівняння з . Це повинно дозволяти$\mathrm{Compare}(A,B)$$P(A < B)≈0.5$$I_A$$I_A$$\mathrm{Compare}$$k=ω(1)$$k=ω(1)$$k$$S$$O(\log_k n + \log k)$глибина рандомізації, за бажанням (якщо припустити, що не надто велика, оскільки нам потрібна глибина для відшарування елементів). Я очікую, що обчислення можна зробити квазілінійним, якщо використовувати достатньо малий .$k$$Θ(\log k)$$k$

Оскільки для порівняння з так ймовірність лише відходів ентропії, для початкової рандомізації та незначної нерівномірності елементів у їх обмежувальних інтервалах потрібно лише ентропійні відходи. Якщо формування розподілу досягає достатнього успіху, відходи ентропії випливають, головним чином, з невідповідності інтервалів довжини під час (*) (звідси ).$1/2+n^{-0.5}$$O(1/n)$$n^{o(1)}$$n^{0.5+o(1)}$

Можлива комбінація :$\mathrm{lg}(n!)+O(n^{0.5-ε})$ Якщо форматування розподілу працює досить добре, і розмір партії дорівнює і вибірково відхилити елементи у (*) (вище), ми можемо вставити всі, крім цих елементів, з ентропійними відходами наступним чином. Розділіть на майже рівні інтервали, і коли під час вставки осідає на інтервалі, відхиліть (тобто скасуйте вставку), якщо інтервал занадто довгий, тим самим зменшуючи різницю довжин цих інтервалів$|S|+n^{0.5+ε}$$≈n^{0.5+ε}$$≈n^{0.5+ε}$$n^{0.5-ε/2+o(1)}$$S$$n^ε$$I_A$$Θ(n^{ε/2})$рази, що, в свою чергу, зменшує відхилення довжини випадкових інтервалів в разів. Тепер ми можемо використовувати вищевказаний алгоритм для вставки решти елементів з відходів, якщо невеликий достатньо.$n^{1-o(1)}$$n^{ε/2-o(1)}$$\mathrm{lg}(n!)+O(n^{1-ε})$$O(n^{0.5-ε'})$$ε$

Найгірша складність сортування: Швидше за все, існує алгоритм сортування з найгіршими порівняннями. Для знаходження медіани існує лінійний проміжок між середнім випадком ( порівняння) та найгіршим (принаймні порівняннями). Однак для сортування існує достатньо свободи для впорядкування порівнянь та пошуку нових алгоритмів сортування.$\mathrm{lg}(n!)+o(n)$$1.5n+o(n)$$(2+ε)n-O(1)$