Приклади ціни абстракції?

Теоретична інформатика подала кілька прикладів "ціни абстракції". Два найвидатніші - для усунення та сортування Гаусса. А саме:

• Відомо, що усунення Гаусса є оптимальним для, скажімо, обчислення визначника, якщо ви обмежите операції рядками та стовпцями в цілому [1]. Очевидно, що алгоритм Страссена не підкоряється цьому обмеженню, і він є асимптотично кращим, ніж усунення Гаусса.
• При сортуванні, якщо ви розглядаєте елементи списку як чорні поля, які можна лише порівнювати та переміщувати, тоді у нас є стандартна інформаційно-теоретична нижня межа. І все-таки злиті дерева перемагають це пов'язане, наскільки я розумію, розумним використанням множення.$n \log n$

Чи є інші приклади ціни абстракції?

Щоб бути трохи більш формальним, я шукаю приклади, коли нижня межа беззастережно відома в слабкій моделі обчислення, але, як відомо, вона порушується в більш сильній моделі. Крім того, слабкість слабкої моделі має формуватися абстракції , що, правда, є суб'єктивним поняттям. Наприклад, я не вважаю обмеження на монотонні схеми абстракцією. Сподіваємось, що два приклади, наведені вище, дають зрозуміти, що я шукаю.

[1] КЛЮЄВ, В.В. та Н.І. КОКОВКІН-ЩЧЕРБАК: Про мінімізацію числа арифметичних операцій для розв’язання лінійних алгебраїчних систем рівнянь. Переклад GI TEE: Технічний звіт CS 24, червень t4, t965, кафедра інформатики, Стенфордський університет.

Ще один прекрасний приклад ціни абстракції: мережеве кодування . Відомо, що в налаштуваннях багатоадресної передачі співвідношення max-flow-min-cut не є рівним (первинне і подвійне не збігаються). Однак традиційні моделі передбачають потік, який просто передається і ніяким чином не "обробляється". За допомогою мережного кодування ви можете перемогти цю межу, вміло поєднуючи потоки. Цей приклад був чудовим мотиватором для вивчення кодування мережі в першу чергу.

Суто функціональне програмування - це популярна абстракція, яка пропонує, принаймні на думку її прихильників, велике збільшення виразної сили коду, серед інших переваг. Однак, оскільки це обмежувальна модель машини - зокрема, не дозволяє змінювати пам'ять - вона ставить питання про асимптотичне уповільнення порівняно зі звичайною моделлю (ОЗП).

Там відмінна нитку з цього питання тут . Основними витягами, здається, є:

1. Ви можете імітувати змінну пам'ять за допомогою збалансованого бінарного дерева, тому найгіршим випадком уповільнення є O (log n).
2. З нетерплячим оцінкою виникають проблеми, для яких це найкраще, що ви можете зробити.
3. З ледачою оцінкою невідомо, чи є розрив чи ні. Однак існує багато природних проблем, для яких жоден відомий чисто функціональний алгоритм не відповідає оптимальній складності оперативної пам'яті.

Мені здається, це відкрито напрочуд основне питання.

Хоча ваше питання зосереджується на теорії складності, подібні речі можуть траплятися і в інших сферах, таких як теорія мов програмування. Ось кілька прикладів, коли абстракція робить щось нерозв'язним (тобто нижня межа у слабкій моделі неможлива, тоді як сильна модель дозволяє виразити алгоритм):

• У обчисленні лямбда є функції, які ви не можете виразити безпосередньо (тобто як лямбда-термін, який бета-зменшує до бажаного результату). Приклад - паралельний або (функція двох аргументів, що повертає той, який закінчується). Інший приклад - функція, яка друкує аргумент буквально (функція, очевидно, не може розрізняти два аргументи бета-еквівалента). Відсутність виразності пояснюється нав'язуванням абстракції, що бета-еквівалентні лямбда-терміни повинні трактуватися однаково.

• У мові статичного типу, яка має лише параметричний поліморфізм , наприклад, ML без фантазійного розширення, деякі функції записати неможливо - ви отримуєте теореми безкоштовно . Наприклад, функція, тип якої - (незалежно від типу аргументу, повернути об’єкт одного типу), повинна бути або функцією ідентичності, або не закінчується. Відсутність виразності пояснюється абстрагуванням того, що якщо ви не знаєте тип значення, воно непрозоре (ви можете передати його лише навколо).$\forall\alpha, \alpha\to\alpha$

"Ціну абстракції" можна знайти і при вирішенні задачі дискретного логарифму в криптографії. Шоуп (1997) показав, що будь-який загальний підхід (тобто алгоритми, що використовують лише групові операції) повинен використовувати щонайменше групові операції, деm- розмір групи. Це відповідає складності загальноїатаки на день народження. Однак такі алгоритми, якобчислення індексуабоалгоритм Поліга-Гелмана,покладаються на теоретичну структуру чисел Z ∗ n, щоб отримати трохи швидші алгоритми (принаймні, у групах гладкого порядку).$\Omega(\sqrt{m})$$m$$\mathbb{Z}_n^*$

Це спостереження є однією з причин популярності криптографії еліптичної кривої (на відміну від криптографії у таких групах, як ), оскільки, по суті, ми знаємо лише загальні підходи до вирішення дискретної задачі логарифмів у групах, заснованих на еліптичних кривих.$\mathbb{Z}_n^*$

Ось приклад з алгоритмів графіків. Враховуючи спрямований графік з негативними вагами на краях, проблема всіх шляхів вузьких маршрутів у вузьких місцях полягає в обчисленні для всіх пар вершин і t максимального потоку, який можна просунути по деякому шляху від s до t . (Формально ми просто максимізуємо мінімальну вагу ребра на будь-якому шляху від s до т . Більш формально, ми замінюємо min та + у визначенні всіх пар найкоротших шляхів на max та min .)$s$$t$$s$$t$$s$$t$$\min$$+$$\max$$\min$

Нехай - кількість вершин у вхідному графіку. Як відомо, ця проблема вимагає часу Ω ( n 3 ) у моделі порівняння шляхів Каргера, Коллера та Філліпса , як це робить проблема з усіма парними найкоротшими шляхами. (Модель шляху-порівняння підтримує традиційні алгоритми, такі як Floyd-Воршалл.) Тим НЕ менше, в відміну від усіх пар найкоротших, виявляється, що все-пар вузького місце шлях може бути вирішене в менш ніж O ( п 2.8 ) час з допомогою швидкого матричного множення .$n$$\Omega(n^3)$$O(n^{2.8})$

За обговоренням у цьому питанні багато проблем обчислювальної геометрії мають нижчі межі в алгебраїчному дереві рішень або моделях обчислень алгебраїчних дерев обчислень, що випливають із фундаментальних проблем, таких як сортування чи відмінність елементів . Не важко знайти документи, які стверджують, що верхні межі O ( n log n ) щодо пов'язаних із цим проблем, таких як побудова триангуляцій Делоне, є оптимальними, оскільки вони відповідають цим нижнім межам.$\Omega(n\log n)$$O(n\log n)$

Але коли введення вказано в цілих декартових координатах (як це часто буває на практиці, плаваюча точка є поганим пристосуванням для обчислювальної геометрії), ці нижчі межі не відповідають обчислювальній моделі. Це, мабуть, не дивно, що проблеми пошуку типу ортогонального діапазону можна вирішити швидше за допомогою методів, адаптованих за цілочисленним сортуванням, але навіть неортогональні задачі часто можуть мати швидші алгоритми (які точно вирішують проблему, в моделях обчислень, що дозволяють цілочисельну арифметику з O (1 ) разів точність цілих чисел). Дивіться, наприклад, arXiv: 1010.1948 для одного набору прикладів.

У криптографії є ​​багато таких прикладів, особливо докази нульових знань. Див., Наприклад, тезу:

Боаз Барак, Нечерномобільні методи криптографії, 2003.

(До речі, назва дипломної роботи надає нульові знання про достовірність цього коментаря :)

$\Omega(n \log n)$$\Omega(n \log n)$$O(n)$Алгоритм очікуваного часу для вирішення найближчої пари точок в площині, що є узагальненням унікальності елемента. Він уникає алгебраїчного дерева рішень, пов'язаного за допомогою хешування. Я знайшов це в книзі «Алгоритм дизайну» Кляйна і Тардоса. Існує аналогічний, але більш складний алгоритм вирішення тієї ж проблеми, описаний у блозі RJ Lipton .

Довідка:

• Річард Дж. Ліптон, " Рабін гортає монету ", березень 2009 року
  опублікував у блозі "Загублений лист Годеля" та блозі P = NP .

$k$$3$$k$$3$

$k$$\Omega(k)$

Однак ця абстракція, мабуть, явно неправильна: якщо ви зможете щось передати в комунікаційній мережі, у вас буде якийсь спосіб кодувати "щось" як рядок біт. А зараз все починає виглядати набагато краще.

$1, 2, ..., k$$O(\log^* k)$$1, 2, ..., 10^{10^k}$$O(\log^* k)$

$O(\log^* k)$$\Omega(k)$

Приклад, який мені спадає на думку, - обчислення обсягу. Результатом роботи Барані та Фуреді є те, що вам потрібна експоненціальна кількість запитів і існує алгоритм рандомизованого поліноміального часу від Дайєра-Фриз-Каннана . Розрив представляє виграш абстракції, а також вигоду від випадковості, але я думаю, що головна причина розриву - ціна абстракції. (Я сподіваюся, що я зрозумів питання, і воно йде в правильному напрямку.)

Це, мабуть, не зовсім те, що ви мали на увазі. Але в певному сенсі незалежність Р проти НП від оракул є таким прикладом. Це насправді говорить про те, що якщо все, що вам цікаво, це моделювання та перерахування (тобто якщо це ваша "модель" обчислення), то ви не можете розділити ці класи або згорнути їх.

Більш конкретний алгоритмічний приклад походить із приблизного діапазону пошуку у зворотному напрямку. Зокрема, більшість проблем із пошуком діапазону виражаються як суми напівгрупи, а нижня / верхня межі виражаються без урахування структури цієї напівгрупи (за винятком деяких легких технічних умов). Недавня робота Арії, Маламато та Маунт показує, що якщо уважно подивитися на структуру напівгрупи (властивості ідентичності та цілісності), то ви можете довести різні (і більш жорсткі) межі для пошуку приблизного діапазону.

Теорема відбору зразків Шеннона-Найкіста пропонує достатню умову для інформаційно-теоретичних меж зв'язку. Теорія вибірки розроблена навколо прикладів, коли вхідний сигнал має компактне / випадкове подання. Нещодавній прогрес вибірки показує, що ця абстракція, можливо, пов'язана з ціною - що всі речі, які ми зацікавлені в вимірюванні, мають, як правило, рідкісні уявлення, щоб ці межі не були чіткими. Крім того, інформацію можна кодувати набагато щільніше, ніж вважалося спочатку.

• Помилка виправлення кодів дозволяє припустити, що деяка переоцінка межі Шеннона в мережевих ландшафтах може зазнати шуму.
• Зовсім нове поле стисненого зондування підштовхує реконструкцію різновидів зображень, які ми знаходимо цікавим шляхом за межі Шеннона.

Багато цікавих проблем, з якими виникають науки про природу, виявляються важкими в класичному розумінні. Хоча це поняття теоретично цілком справедливо, воно нічим не допомагає біологу чи фізику. Ми виявляємо, що деякі важкі проблеми, пов'язані з NP, є виправленими параметрами, які піддаються лікуванню, а часто - з параметром, який, як вважається, обмежений невеликою константою в реальному світі.

Тобто, TCS говорить нам, що ми не очікуємо ефективного рішення абстрактної проблеми, але ми можемо вирішити фактично виникаючі випадки швидко - досить прогалини.

У цій статті http://www.mimuw.edu.pl/~szymtor/papers/atom-turing.pdf ми вивчили машини Тьюрінга, які мають обмежений доступ до даних. Це формалізується як інваріантне в умовах автоморфізмів реляційної структури; Наприклад, у нижній межі O (n log n) для сортування ви б сказали, що машина може обробляти і зберігати раціональні числа, але її переходи повинні бути інваріантними при автоморфізмах (Q, <), тобто монотонних біекцій. Офіційне визначення є складнішим, щоб точно вказати, які структури даних може зберігати машина у своїй пам’яті (
у певному сенсі воно повинно бути «кінцевим» , але ми дозволяємо зберігати складніші структури, ніж лише кортежі значень даних, наприклад, не упорядковані кортежі).

У роботі ми довели деякі нижчі межі для інших машин Тьюрінга з "обмеженим доступом до даних". Зокрема, ми показали, що:

• Детермінована машина Тьюрінга, яка може обробляти вектори (скажімо, над двоелементним полем), але може використовувати лише тести додавання векторів та рівності, не може визначити в поліноміальний час, чи даний перелік векторів лінійно залежить (формально, переходи машин повинні бути інваріантним при автоморфізмах векторного простору). Цьому протистоїть недетерміновані машини, які можуть просто здогадуватися про комбінацію векторів, яка дорівнює 0. Зауважте, що Гауссова елімінація проходить у поліноміальний час, але має доступ до координат векторів; зокрема, його переходи не є інваріантними при автоморфізмах векторного простору.

• У відповідно визначеній моделі машини Тюрінга, які можуть порівнювати натуральні числа лише щодо рівності (навіть не <), не можуть бути визначені. Тут ми розглянемо реляційну структуру (N, =) та машини, які є інваріантними за своїми автоморфізмами. Існує конструкція (подібна до конструкції Cai-Furer-Immerman з теорії кінцевих моделей), яка показує, що насправді в цій моделі P ≠ NP. Дозвіл машинам порівнювати числа за допомогою <дає їм достатню потужність для визначення.

Загальна ціна абстракції присутня в рамках чорної скриньки, таких як складність дерева рішень або складність квантового запиту. Якщо ми обмежимось аналізом цих моделей, то ми часто можемо знайти дуже хороші межі щодо складності завдань. Насправді, для квантового запиту ми можемо в основному вирішити складність проблем, оскільки метод негативного супротивника забезпечує жорсткі нижні межі (в межах фактора log n / loglog n: 1005.1601 ). Це дає нам чудовий інструмент для аналізу складності запиту, але часто стає важко порівняти складність запиту з більш стандартною складністю часу / простору Тюрінга (за винятком низької межі).

Ось два приклади, що стосуються безперервних моделей проти дискретних:

1. Припустимо, є (нескінченно малий) скарб, захований у інтервалі , у положенні x . Ми хочемо знайти скарб копанням. Щоразу, коли ми копаємось у положенні y , ми отримуємо зворотній зв'язок, чи x < $[0,1]$$x$$y$$x<y$$x=y$$x>y$$x$$|x-y|$$y=x$

   $y$$[0,1]$$y=x$

2. Мотивація проблеми А походить від проблеми поділу тортів без заздрості . Стромквіст показав , що жоден кінцевий протокол (навіть якщо він не обмежений) не може гарантувати зависокого поділу торта між трьома або більше гравцями, якщо кожен гравець повинен отримати одну підключену частину.

   Однак, як $i$$\alpha$$i$$x$$vi(0,x) = \alpha$

   Крім того, результат не стосується алгоритмів, що мають постійні операції, такі як процедури переміщення ножем.

Якщо висловити логіку першого порядку, будь-який доказ принципу голубої свердловини для фіксованого n є експоненціальним по довжині. Однак з арифметикою доказ можна висловити набагато стисліше.

Успіх вирішувачів SMT відбувся завдяки відступу від абстрактної моделі зменшення проблем до SAT, що дозволяє багатішим теоріям значно скоротити кількість необхідних обчислень.