Суворість, що веде до розуміння

У програмі MathOverflow Тимофі Гоуерс задав питання під назвою " Демонстрація важливості суворості ". Більшість дискусій проходили щодо випадків, що свідчать про важливість доказів, про що, мабуть, не потрібно переконувати людей в CSTheory. На мій досвід, докази повинні бути більш жорсткими в теоретичній інформатиці, ніж у багатьох частинах безперервної математики, тому що наша інтуїція так часто виявляється неправильною для дискретних структур і тому, що прагнення до створення реалізацій заохочує більш детальні аргументи. Математик може бути задоволений доказом існування, але теоретик-теоретик, як правило, намагатиметься знайти конструктивне підтвердження. Місцева лема Ловаша - приємний приклад [1].

Тому я хотів би це знати

Чи є конкретні приклади в теоретичній інформатиці, коли суворий доказ правдивого твердження призвів до нового розуміння природи основної проблеми?

Недавній приклад, який не пов'язаний безпосередньо з алгоритмами та теорією складності, - це теоретико-теоретичний синтез , автоматичне виведення правильних та ефективних алгоритмів з до- та після умов [2].

• [1] Робін А. Мозер і Габор Тардос, конструктивне підтвердження загальної локальної леми Ловаша, JACM 57 , стаття 11, 2010. http://doi.acm.org/10.1145/1667053.1667060
• [2] Саурабх Срівастава, Суміт Гулвані та Джеффрі С. Фостер, від верифікації програми до синтезу програми , Примітки SIGPLAN ACM 45 , 313–326, 2010. http://doi.acm.org/10.1145/1707801.1706337

Редагувати:Відповідь, яку я мав на увазі, схожа на відповіді Скотта та Матуса. Як припустив Каве, це трійка чогось, що люди хотіли довести (але це не обов'язково було несподіваним "фізикою", "рукоділлям" чи "інтуїтивними" аргументами), доказом та наслідками для "основної проблеми", що випливає з того доказу, що його не очікували (можливо, створення доказу вимагало несподіваних нових ідей, або, природно, веде до алгоритму, або змінило те, як ми думаємо про цю область). Методи, розроблені під час розробки доказів, є основою теоретичної інформатики, тому, щоб зберегти цінність цього дещо суб'єктивного питання, варто було б зосередитись на особистому досвіді, наприклад наданому Скоттом, або на аргументі, підкріпленому посиланнями, як зробив матусь. Більше того, я ' m намагаюся уникати аргументів про те, чи відповідає щось чи ні; на жаль, характер питання може бути суттєво проблематичним.

У нас вже є питання про "дивовижні" результати у складності: Дивовижні результати у складності (не в списку блог про складність), тому в ідеалі я шукаю відповіді, які зосереджуються на значенні суворого доказу , а не обов'язково на величині прориву.

Андраш, як ви, напевно, знаєте, є так багато прикладів того, про що ви говорите, що майже неможливо знати, з чого почати! Однак я вважаю, що це питання насправді може бути вдалим, якщо люди наводять приклади з власного досвіду, коли доказ широко сприйнятої думки на їхній підрайоні призвів до нових поглядів.

Коли я був малогранником, першою справжньою проблемою TCS, яку я вирішив, була така: який найшвидший квантовий алгоритм для оцінки АБО √n AND з Bon булевих змінних кожен? Мені та всім іншим, з ким я говорив, було болісно очевидно, що найкраще можна було б застосувати алгоритм Гровера рекурсивно, як до АБО, так і до ІН. Це дало верхню межу O (√n log (n)). (Насправді ви можете поголити фактор журналу, але давайте ігноруємо це на даний момент.)

На моє величезне розчарування, я не зміг довести будь-яку нижню межу краще, ніж тривіальний Ω (n ^1/4 ). "Фізик" та "відповідь рукою" ніколи не виглядали привабливішими! :-D

Але потім, через кілька місяців, Андріс Амбеїніс вийшов зі своїм квантовим методом супротивника , основним застосуванням якого спочатку була нижня межа Ω (√n) для АБО-І-І. Щоб довести цей результат, Андріс уявив подачу квантового алгоритму суперпозицією різних входів; Потім він вивчив, як зростає заплутаність між входами та алгоритмом із кожним запитом алгоритму. Він показав, як такий підхід дозволяє вам обмежувати складність квантового запиту навіть для "безладних" несиметричних задач, використовуючи лише дуже загальні комбінаторні властивості функції f, які квантовий алгоритм намагався обчислити.

Далеко не підтверджуючи, що складність квантового запиту однієї дратівливої ​​проблеми - це те, що всі очікували, що це буде, ці методи виявили одне з найбільших досягнень теорії квантових обчислень за часів алгоритмів Шора та Гровера. З тих пір вони використовуються для доказування десятків інших квантових нижчих меж і навіть були змінені для отримання нових класичних нижчих меж.

Звичайно, це "ще один день у дивовижному світі математики та TCS". Навіть якщо всі "вже знають" X це правда, доведення X дуже часто вимагає винайдення нових методик, які потім застосовуються далеко за межами X, і зокрема до проблем, на які правильна відповідь була набагато менш очевидною апріорі .

Паралельне повторення - хороший приклад з моєї області:

Коротке пояснення паралельного повторення. Припустимо, у вас є система дводоказової перевірки мови : Даний вхід , відомий усім, перевіряючий надсилає запитання до 1, а питання - доказ 2. Провідники відповідають з відповідями та відповідно, без спілкування. Перевіряльник виконує деяку перевірку на та (залежно від ) та вирішує, приймати чи відхиляти. Якщо , існує стратегія доказування, яку верифікатор завжди приймає. Якщо$L$$x$$q_1$$q_2$$a_1$$a_2$$a_1$$a_2$$q_1,q_2$$x\in L$$x\not\in L$, для будь-якої доказової стратегії верифікатор приймає з ймовірністю не більше ("ймовірність помилки").$s$

Тепер припустимо, що ми хочемо меншої ймовірності помилки. Можливо, близький до , і ми хочемо . Природним підходом було б паралельне повторення : нехай верифікатор надсилає незалежних запитань до кожного , і , отримайте k відповіді від доказів і , і здійснює перевірки відповідей.$s$$1$$s = 10^{-15}$$k$$q_1^{(1)},\ldots,q_1^{(k)}$$q_2^{(1)},\ldots,q_2^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$k$

Історія. Спочатку було "зрозуміло", що ймовірність помилок повинна зменшуватися, як , так, як якщо б верифікатор здійснив послідовних перевірок. Легенда говорить, що вона була дана студенту для доведення, перш ніж було зрозуміло, що "очевидне" твердження є просто хибним. Ось експозиція контрприкладу: http://www.cs.washington.edu/education/courses/cse533/05au/na-game.pdf . Минув певний час (і кілька слабших результатів), перш ніж Ран Різ нарешті підтвердив, що ймовірність помилок дійсно зменшується експоненціально, але має дещо складну поведінку: це , де алфавіт k s Ω ( k / log | Σ | )$s^{k}$$k$$s^{\Omega(k/\log|\Sigma|)}$$\Sigma$- це набір можливих відповідей на підтвердження в оригінальній системі. Доказ використовував інформаційно-теоретичні ідеї, і, як кажуть, його надихає ідея Різборова про складність спілкування. Брудну частину оригінального доказу Рана пізніше було красиво спрощено Томасом Голенштейном, що призвело до одного з моїх улюблених доказів.

Інформація про проблему та інші наслідки. Спочатку є найближчі речі: краще розуміння кількісної поведінки паралельного повторення та ролі, яку грає алфавіт , краще розуміння того, коли дослідники можуть використовувати паралельні запитання для обману, краще розуміння важливості незалежність при паралельному повторенні між парами питань (пізніше оформлених Фейджем і Кіліаном).$\Sigma$$k$

Потім з'явилися розширення, які стали можливими: Ануп Рао зміг адаптувати аналіз так, щоб показати, що коли оригінальна система доказування є {\ em проекційною грою}, тобто відповідь першого дослідника визначає щонайменше одну прийнятну відповідь другий доказ, взагалі немає залежності від алфавіту, і константа в експоненті може бути покращена. Це важливо, оскільки більшість твердості результатів наближення базуються на проекційних іграх, а унікальні ігри - особливий випадок проекційних ігор. Також є кількісні вдосконалення в іграх на розширювачах (Рікі Росен та Ран Раз) та ін.

Тоді є далекосяжні наслідки. Лише декілька прикладів: інформаційно-теоретична лема з статті Раз була використана у багатьох інших контекстах (у криптографії, в еквівалентності вибірки та пошуку тощо). Метод "корельованої вибірки", який використовував Голенштейн, застосовувався і в багатьох інших роботах (у складності спілкування, в PCP тощо).

Ще один хороший приклад суворості (та нових методів), необхідних для доказу тверджень, які вважалися правдивими: згладжений аналіз. Два випадки:

• Алгоритм симплексу
• Алгоритм k-означає

Для обох методів було "добре відомо", що вони добре працювали на практиці, і для першого було відомо, що це зайняло найгірший показник часу. Згладжений аналіз може розглядатися як той, що "пояснив" хорошу емпіричну поведінку в обох випадках. По-друге, хоча було відомо, що найгірша складність значень становить , невідомо, чи існували нижчі межі, які були експоненціальними в , і тепер ми знаємо це правда, навіть у літаку!O ( n c ⋅ k d ) $k$$O(n^{c \cdot kd})$$n$

Я думаю, що наступний приклад породив чимало досліджень, які мали результати такого типу, як ви шукаєте, принаймні, якщо я слідую духу вашого прикладу LLL.

Роберт Е. Шапір. Сила слабкої навчальності. Машинне навчання, 5 (2): 197-227, 1990.

$\epsilon>0, \delta>0$$1-\delta$$\epsilon$$\epsilon$$\delta$$\delta$$\delta$$\gamma$

У будь-якому разі, речі стали дуже цікавими після папери Шапіра. Його рішення породило більшість голосів над гіпотезами в початковому класі. Потім прийшли:

Йоав Фрейнд. Підвищення слабкого алгоритму навчання більшістю. Інформація та обчислення, 121 (2): 256--285, 1995.

Цей документ мав «спростування» результату Шапіра, але тепер побудована гіпотеза використовувала лише одну більшість. У цьому напрямку вони випустили ще одне заперечення, зване AdaBoost:

Йоав Фрейнд та Роберт Е. Шапір. Теоретичне узагальнення рішень в режимі он-лайн навчання та застосування стимулювання. Журнал комп'ютерних та системних наук, 55 (1): 119-139, 1997.

Питання щодо слабкого / сильного навчання починалося як головне теоретичне питання, але ця послідовність «докорів» призвела до прекрасного алгоритму, одного з найвпливовіших результатів машинного навчання. Я міг би зійти на всілякі дотичні тут, але стримую себе. У контексті TCS ці результати вдихають багато життя в контексті (1) мультиплікативних алгоритмів ваги та (2) результатів набору твердих основних. Щодо (1), я просто хотів би уточнити, що AdaBoost можна розглядати як екземпляр мультиплікативних робіт ваг / вінограму Вармут / Літтлстоун (Фрейнд був студентом з Вармута), але є багато нового розуміння прискорення результати. Про (2), я '

Для історичної точності слід сказати також, що дати моїх цитат, можливо, не такі, які очікували б деякі люди, оскільки для деяких з них існували більш ранні версії конференцій.

Повернімось до природи свого питання. Ключове значення «суворості» тут полягало в наданні гіпотези класу, який вивчає (зважене більшість за початковий клас гіпотези) та ефективних алгоритмів їх пошуку.

Цей приклад - відповіді Дани та Скотта.

$n$$d$$d$$2^{n-1}$$d$$2$$n^{1/(d-1)}$$2^{n^{1/(d-1)}}$$1$$n^{1/(d-1)}$$d-1$$2^{n^{1/(d-1)}}$$2^{n^{1/(d-1)}}$$d$$2^{O(n^{1/(d-1)})}$

$d$$AC^0$

Доповідь Расборова та Рудича «Природні докази» пропонує суворий доказ (формалізації) болісно очевидного твердження «Це справді важко довести, що P ≠ NP».

Ідея про те, що деякі алгоритмічні проблеми потребують експоненціальної кількості кроків або наполегливого пошуку всіх можливостей, піднімалася з 50-х років, а може й раніше. (Звичайно, наївна ідея, що комп'ютери вміють робити все, теж була загальною.) Основним проривом Кука і Левіна було поставити цю ідею на жорстких засадах. Це, звичайно, все змінило.

Оновлення: Я щойно зрозумів, що моя відповідь, як приємна відповідь Туркстані, стосується назви питання "суворість, що веде до розуміння", але, можливо, не конкретне формулювання, яке стосувалося "жорсткого підтвердження теореми".

Алан Тьюрінг формалізував поняття алгоритму (ефективної обчислюваності) за допомогою машин Тьюрінга. Він використав цей новий формалізм, щоб довести, що проблема зупинки не визначається (тобто проблема зупинки не може бути вирішена жодним алгоритмом). Це призвело до тривалої дослідницької програми, яка довела неможливість 10-ї проблеми Гільберта. Матіясевич в 1970 році довів, що не існує алгоритму, який би міг вирішити, чи має ціле рівняння Діофантіна ціле рішення.