Наскільки важко точно моделювання алгоритмів та пов'язані з ними операції на класах складності

Тизер

Оскільки проблема довга, тут є особливий випадок, який охоплює її суть.

Проблема: Нехай A є детермінованим алгоритмом для 3-SAT. Чи є проблема повного моделювання алгоритму А (на кожному екземплярі проблеми). P-Space важко?

(Точніше, чи є підстави вважати, що це завдання є важким P-Space, чи щось у цьому напрямку випливає зі стандартних гіпотез CC, і чи є надія довести, що це завдання є важким для X класу складності X, на який передбачається бути строго вище NP.)

Пов’язані запитання : проблеми -pspace-complete-problemi-по суті-менш простежувані-ніж-np-complete-проблеми ;

ВИДАЛЕНО ОНОВЛЕННЯ : "Повністю моделюючи A" існують різні тлумачення. І можуть бути різні цікаві відповіді відповідно до тлумачення. (Також Райан Вільямс запропонував інтерпретацію для моделювання недетермінованого алгоритму.) Для певного способу пов’язати задачу рішення з обчислювальною задачею "Повністю імітувати А", Джо Фіцсімонс знайшов алгоритм А, для якого ця пов'язана проблема з рішенням все ще знаходиться в НП . Якщо "повністю імітувати" посилається на можливість вивести весь регістр комп'ютера на заданому кроці $i$ то для алгоритму Джо, здається, що - це те, що потрібно. Для цієї версії (я думаю, але не впевнений) відповідь Райана замальовує$P^{NP}$$P^{NP}$аргумент твердості. Джо зауважив, що якщо від вас вимагається подавати цілі регістри (що вже не є проблемою прийняття рішення), не потрібно вважати, що вам потрібно активізуватися, і класи складності не однакові.

У всякому разі, якщо ми вимагаємо , щоб вивести стан регістрів на заданому етапі тоді відповіді Руана і Джо пропонує (але знову ж , я не впевнений в цьому) , що N P + , по суті , P N P . Ми можемо spaculate , що з допомогою цієї інтерпретації операція штовхає вгору на один щабель вище в поліноміальний hiearachy, і що Р Н + = Р Н .$i$$NP^+$$P^{NP}$$PH^+ =PH$

У будь-якому випадку за допомогою цих тлумачень відповідь на моє тизерне запитання - НІ .

Я мав на увазі більш різку інтерпретацію щодо "повністю імітації алгоритму А". (Але, можливо, інтерпретація Джо та Райана є цікавішою.) Моя інтерпретація "повністю імітуючи алгоритм А" полягає в тому, що ви виходите із стану регістрів на кожному кроці $i$ . Зокрема, якщо алгоритм не є многочленом, то його вихід також не є многочленом. Під цим радикальним тлумаченням я задумався, чи слід вірити, що для кожного алгоритму A, $C_A$ є важким P-SPACE, і що ми можемо довести.

Мотивація:

Це питання мотивовано лекцією Пола Голдберга ( слайди , відео , папір ), в якій описується документ із Пападімітріу та Савані. Вони показали, що P-простір завершується для пошуку будь-яких рівноваг, які обчислюються алгоритмом Лемке-Гоусона. Проблема знайти якусь точку рівноваги - лише PPAD-повна. Цей розрив є досить дивовижним, і подібні результати описані вже у відомій роботі Пападімітріу: Складність аргументу паритету та інші неефективні докази існування (1991) . (Відомо, що проблеми, пов'язані з ППАД, навіть не можуть бути важкими для NP (якщо не трапляються жахливі речі, тому в світі складності це далеко в порівнянні з P-простором).

Про що йдеться

Моє запитання стосується подібних прогалин для навіть старих і класичніших проблем складності обчислювальної техніки. (Можливо, це вже знайоме.)

Враховуючи обчислювальну задачу, ми можемо розрізняти три питання

а) Розв’яжіть задачу алгоритмічно

б) Отримати те саме рішення, що й конкретний алгоритм A

в) моделювати весь алгоритм A

Зрозуміло, в) принаймні настільки ж важкий, як і b), який є принаймні таким же жорстким, як а). Згадані вище результати показують розрив між обчислювальною складністю задач а) та б) для задачі обчислення рівноваги. Ми хотіли б зрозуміти ситуацію (і головним чином розрив між а) і в)) для інших обчислювальних задач.

Питання:

Основна форма запитання з прикладом

Почнемо з обчислювальної задачі, проблема X

Прикладом може бути

Завдання X: Розв’яжіть екземпляр SAT з n змінними

ми також уточнюємо

A: алгоритм, що виконує завдання X

і ми ставимо нову проблему

Завдання Y: Точно моделювати алгоритм A

і нас цікавить обчислювальна складність задачі Y. Ми хочемо зрозуміти клас таких задач Y для всіх алгоритмів A, які вирішують вихідну задачу X. Особливо ми хочемо знати, наскільки легко може бути завдання Y (або наскільки важко це повинно бути be) якщо нам дозволяється вибрати алгоритм A за власним бажанням.

Пропонована операція на класах складності

Почніть з класу складності $C$ який описується деяким обчислювальним завданням. Враховуючи алгоритм A для виконання кожного примірника цього обчислювального завдання, розглянемо новий клас складності $C_A$ який описується обчислювальною задачею повністю моделювання $A$ . Тоді ми можемо (сподіваємось) визначити "ідеал" класів складності

для всіх алгоритмів A}.$C^+ = \{C_A:$

Якщо ми дозволимо описати все, що може робити цифровий комп'ютер за поліноміальний час (тому я не хочу обмежувати увагу, наприклад, проблемами з рішенням), то P + - це ідеальний варіант$P$$P^+$ самого.$P$

Нарешті, Мої запитання

Мої запитання:

1) Чи має значення сенс визначення (у широкому сенсі слова сенс). Це добре відоме чи те саме, що (чи схоже на) якусь добре відому річ. (Моя постановка була неформальною, і зокрема, коли ми переходимо від конкретних проблем, таких як SAT, до класу складності, як NP, ми повинні турбуватися про різні речі, якими я нехтував.)

Наступні два запитання передбачають, що визначення може мати сенс або врятувати його.

2) Припустимо, ми оснастимося всіма стандартними думками щодо повноти обчислювальної техніки. Чи можемо ми сказати, що повинен бути для деяких звичних класів складності. (Наприклад, C = N P , C = P-простір, ..)? EDIT: Кілька людей вказали, що P S P C E + = P S P C E . Отже> ми можемо запитати замість того, що таке ( P N P ) + ? є P H + = P H ?$C^+$$C=NP$$C$$PSPACE^+=PSPACE$$(P^{NP})^+$$PH^+=PH$

Чи можемо ми здогадатися, які існують класи комбінаційності щоб C + був ідеальним, що охоплюється C ?$C$$C^+$$C$

Отже, питання про те, наскільки легко може бути обчислювальна задача моделювання алгоритму A для 3-SAT (коли ми можемо вибрати алгоритм, щоб зробити його максимально простим) - цікавий особливий випадок.

3) Чи є надія насправді довести щось про цю операцію?

Звичайно, якщо ви докажете, що всі класи складності в є P-простором, це покаже, що P = N P означає P = P S P A C E , що (я думаю) було б величезним і дуже несподіваним результатом . Але якщо ви покажете, що всі класи складності в N P + важко щось сказати на третьому рівні Ієрархії поліномів (наприклад, Δ P 3 ), це означатиме лише ті речі, які ми вже знаємо, речі, які випливають з того, що P = N P призводить до руйнування PH.$NP^+$$P=NP$$P=PSPACE$$NP^+$$\Delta_3^{\bf P}$$P=NP$

Проблема: Нехай A є детермінованим алгоритмом для 3-SAT. Чи складно проблему повного моделювання алгоритму A (у кожному випадку проблеми) P-Space?

Я не розумію твердження цієї проблеми. Але я думаю, що існує природний спосіб формалізувати своє більш загальне питання, яке може пролити трохи світла на нього. Можливо, я повністю пропускаю вашу думку, але сподіваюся, ви все-таки знайдете щось цікаве для читання тут.

1) Чи має значення сенс визначення (у широкому сенсі слова сенс). Це добре відоме чи те саме, що (чи схоже на) якусь добре відому річ. (Моя постановка була неформальною, і зокрема, коли ми переходимо від конкретних проблем, таких як SAT, до класу складності, як NP, ми повинні турбуватися про різні речі, якими я нехтував.)

Один із способів зрозуміти задачу точно моделювати алгоритм $Y$ полягає в наступному. Давайте зафіксуємо модель для односкладних машин Тюрінга для простоти; те, що я скажу, може стосуватися будь-якої типової обчислювальної моделі.

Для кожного алгоритму та вводу x ми можемо визначити його історію обчислень H Y ( x , i , j ) : Дано цілі числа i та j, які варіюються від 0 до часу виконання Y , H Y ( x , i , j ), рівного вміст j- ої комірки стрічки машини Тюрінга Y на вході x у кроці часу i . (А якщо голова стрічки читає $Y$$x$ $H_Y(x,i,j)$$i$$j$$0$$Y$$H_Y(x,i,j)$$j$$Y$$x$$i$$j$ту клітинку на му кроці, включіть це теж разом із станом машини.) Звичайно, історії обчислень постійно з'являються в теорії складності.$i$

Тепер можна стверджувати, що будь-який алгоритм, який може визначити мову

$C_Y = \{(x,i,j,\sigma)~|~H_Y(x,i,j)=\sigma\}$

(Або імітувати функцію на всіх входах) вирішує завдання точно моделювати алгоритм Y , оскільки він має можливість друкувати кожну невелику частину всіх можливих обчислень алгоритму Y . Звичайно, з огляду на оракул для C Y можна було зробити крок за кроком моделювання Y .$H_Y$$Y$$Y$$C_Y$$Y$

2) Припустимо, ми оснащуємося всіма стандартними домислами щодо складності обчислювальної техніки. Чи можемо ми сказати, що C + повинен бути для деяких звичних класів складності. (Наприклад, C = NP, C = P-простір, ..)? Чи можемо ми здогадатися, які існують класи складності C, щоб C + був ідеальним, що охоплюється C?

Це все ще цікаве запитання, за вказаною вище пропозицією. Для детермінованих часових класів нічого не змінюється. - це просто P : ми можемо визначити C Y у політи, для кожного алгоритму багаточастоти. Аналогічно Е Х Р + = Е Х Р . Крім того, Р С Р С Е + ще Р С Р С Е . Для недетермінованих класів складності часу ситуація стає цікавішою. У цьому випадку алгоритм Y може мати декілька історій обчислень, так$P^+$$P$$C_Y$$EXP^+ = EXP$$PSPACE^+$$PSPACE$$Y$ вже не є чітко визначеним. Однак ми все ще хочемо надрукуватидеякуісторію обчислень, тому для нашого «точного моделювання» треба було б виділити конкретну недетерміновану історію обчислень, а потім надрукувати її значення. Дляалгоритму N P Y можна сказати, що C Y ∈ P N P : ми можемо використовувати N P oracle для двійкового пошуку "першого" приймаючої історії обчислень (у порядку lex), а потім, як тільки ми її отримаємо, надрукуємо відповідні біти. Дляалгоритму N E X P Y можна сказати C Y$H_Y$$NP$$Y$$C_Y \in P^{NP}$$NP$$NEXP$$Y$ , з подібних причин.$C_Y \in EXP^{NP}$

Чи можемо ми поставити у менший клас? Не знаю. Зауважте, що ми не можемо просто переосмислити$NP^+$

{ ( x , i , j , σ ) | існує H Y такий, що H Y ( x , i , j ) = σ }$C_Y =$$(x,i,j,\sigma)~|~$$H_Y$$H_Y(x,i,j)=\sigma$

спробувати поставити в N P , оскільки нам потрібно, щоб рядок історії був однаковим для всіх чотиричлен, що включають x , щоб "точно імітувати алгоритм Y ".$C_Y$$NP$$x$$Y$

У будь-якому випадку ця проблема неможливості "надрукувати свідка" для обчислення не переходячи до E X P N P , виникає в деяких ситуаціях, таких як складність ланцюга. Якщо N E X P має схеми розмірів полінома, то чи так, що C Y ∈ P / p o l y для кожного недетермінованого 2 n k часу Y ? Імпальяццо, Кабанець і Вігдерсон$NEXP$$EXP^{NP}$$NEXP$$C_Y \in P/poly$$2^{n^k}$$Y$ answered this question affirmatively in 2001. Their proof is extremely interesting, invoking tools from derandomization and diagonalization (why would derandomization be necessary for such a result?) and it turns out to be a very useful theorem for proving circuit lower bounds for $NEXP$ functions.

Is there hope to actually prove something about this operation?

Maybe... that depends on whether you are happy with the above formalization of your question. For a deterministic 3-SAT algorithm $Y$, I think the above exact simulation of $Y$ problem would be $P^{NP(1)}$-hard, where $P^{NP(1)}$ is polynomial time with one query to $NP$. (The annoying syntax of StackExchange requires that I write (1) instead of the alternative. Earlier I said $C_Y$ should be $P^{NP}$-hard, but I am not sure of the details: you may see how to generalize the below.)

We give a polytime many-one reduction from every $L \in P^{NP(1)}$ to $C_Y$. Given such an $L$, let $M$ be a machine recognizing $L$ that does a single $NP$ query. WLOG, that query is a SAT formula. Also WLOG, the SAT query can be "postponed" until the very last step of the computation, in the following sense: there is a polynomial time algorithm $A(x)$ which prints a formula $F$ and bit $b$, such that for all $x$,

$M(x)$ accepts iff $A(x)=(F,b)$ such that ($SAT(F)$ XOR $b$) = 1.

($M$ may reject iff $F$ is satisfiable, or it may accept; the bit $b$ captures this.)

For simplicity, let's say when $Y$ ends its computation, it moves its tape head to cell 1, writes "accept" or "reject" in that cell, and loops forever. Then, asking if $(F,T,1,accept) \in C_Y$ for sufficiently large $T$ will tell us if $F$ is accepted. (In general, we just need that it's efficient to compute the instance $y$ of $C_Y$ which will tell us.) Note this already shows that $C_Y$ is both $NP$-hard and $coNP$-hard; the latter is true because $(F,T,1,reject) \in C_Y$ iff $F$ is not satisfiable.

The final reduction from $L$ to $C_Y$ is: given $x$, run $A(x)$ getting $(F,b)$. If $b=0$ then output $(F,T,1,accept)$, else if $b=1$ output $(F,T,1,reject)$.

For every $x$ we are producing (in polynomial time) a $y$ such that $M(x)$ accepts iff $y \in C_Y$.

(Thanks to Joe for demanding that I be clearer about this part.)

But I don't see (for example) how to get $\Sigma_2 P$-hardness. To reduce $\Sigma_2$-SAT to the problem, it would appear you'd need to write a 3-CNF SAT instance $x$ which simulates your deterministic algorithm $Y$ within it (where $Y$ is solving Tautologies on various subproblems). But as $Y$ has no given time bound, that 3-CNF $x$ could be huge, so you don't necessarily get a polynomial-time reduction. Unless I am missing something.

I initially posted an incorrect answer, so hopefully this is an improvement.

I'm going to start out by considering the 3SAT example. In your comment on Ryan's answer you say

I am interesting how hard it is to simulate a deterministic algorithm Y for 3-SAT. And the question is if no matter what Y is this is P-space hard.

The answer to this is that it is not PSPACE-hard for at least some Y, assuming that NP$\neq$PSPACE, but that there exist other algoriths for which it is PSPACE-hard. Showing the latter is trivial: We simply construct an algorithm which interprets the bit string representing the 3SAT formula instead as a TQBF problem, which it then solves before solving the 3SAT instance. Obviously there is nothing special about TQBF in this case, so the algorithm can be made arbitrarily hard to simulate. So we should only care about lower bounds on simulation of any algorithm for a given problem, rather than a specific algorithm.

With that in mind, we construct the following algorithm to solve 3SAT:

Take a register of $n$ bits (initially all set to 0) to contain a trial solution, together with a register containing the 3SAT instance, a counter register of size $\lceil\log_2 (c + 1)\rceil$ initially set to 1 and and two flag bits (call these the fail flag and the accept flag). Here $c$ is the number of clauses. The algorithm then proceeds as follows:

• If the value of the clause counter $k$ is less than or equal to $c$, and the trial solution is not $111......1$, check whether clause $k$ is satisfied. If not set the fail bit. Increment the counter.
• If the value of the clause counter $k$ is less than or equal to $c$, and the trial solution is $111......1$, check whether clause $k$ is satisfied. If it is not, set the fail flag. Increment the counter.
• If $k$ exceeds $c$, and the trial solution is not $111......1$, check if the fail flag is set. If so then increment the trial solution, reset the counter $k$ to 1, and unset the fail flag. If the fail flag was not set, set the accept flag, set the clause counter $k$ to zero, set the trial solution to zero and halt.
• If $k$ exceeds $c$, and the trial solution is $111......1$, check if the fail flag is set. If the fail flag was not set, set the accept flag. Set the clause counter $k$ to zero, set the trial solution to zero and halt.

When the algorithm halts, the state of the accept flag tells you whether or not the 3SAT formula can be satisfied.

Now, if I want to compute the state of the algorithm at time $i$ I have an algorithm to compute this in polynomial time with a single call to an NP oracle as follows:

Note that for any $i$, assuming the accept bit has not yet been set, the state of the registers can be calculated in polynomial time, since the value of $k$ and the trial solution register $t$ are simply functions of $i$. Determining if the fail flag is set can be done in polynomial time, simply by checking whether the current state of the trial solution register satisfies all clauses less than or equal the current value of $k$. If and only if this not the case, the fail flag is set. The accept flag is set to zero.

Similarly, if the accept bit has already been set, the state of the registers can be efficiently computed, since everything is zero except the accept bit, which is set.

So the only hardness comes in determining whether the accept bit is set. This is equivalent to determining whether the given 3SAT instance has a solution less than $t$. If it does, then the accept bit must necessarily be set, and if it does not, then the accept bit must necessarily be zero. Clearly this problem is itself NP-complete.

Thus the state of the system at step $i$ can be determined by in polynomial time with a single query to an NP oracle.

Important update: Initially I had misread Ryan's formulation of exact simulation as a decission problem, and so my claim that the decission version was in NP was incorrect. Given the problem of deciding whether bit $j$ at step $i$ on input $x$ as formulated in Ryans answer, then there are 3 possibilities:

1. This bit is constant in independent of whether $F$ is satisfiable. As there are only two possible states for the system at this time (both of which can be computed in P) determining if this is the case, and if so, whether the value is equal to $\sigma$ is in P.
2. The bit is equal to $\sigma$ if $F\in SAT$, and unequal otherwise. This problem is clearly in NP, as the satisfying assignment of $F$ acts as a witness.
3. The bit is equal to $\sigma$ if $F\in UNSAT$ in which case the problem is then in coNP.

Clearly deciding which one of these three is the case can be done in polynomial time, simply by comparing the value that bit takes if $F\in SAT$ and if $F\in UNSAT$. Thus the exact simulation problem is in NP $\cup$ coNP. Thus, as Ryan's lower bound and my upper bound match, assuming both are correct, I think we have an answer: $C_Y = NP\cup coNP$.

Note that there is nothing special about 3SAT in this case, and the same could be done for any problem in NP. Further, the same trick can be used for any non-deterministic complexity class, not just NP, which seem to be the hard ones to simulate. For deterministic classes you can simply run the best algorithm and halt at step $i$. So with this in mind, full simulation of at least some deterministic algorithm for a problem is only as hard as solving the problem itself.

Very interesting thought! Here's an extended comment that was too long to post as such:

Regarding the definition in (1) as such, that is:

Start with a complexity class $C$ which is described by some computational task. Given an algorithm A to perform every instance of this computational task, consider a new complexity class $C_A$ which is described by the computational task of completly simulating $A$. Then we can (hopefully) define an "ideal" of complexity classes: $C^+ = \{C_A:$ for all algorithms $A\}$.

I believe you're going to quickly run into an issue with undecidability for non-trivial membership in $C^+$. In particular, given the description of two TMs $M$ and $M^{\prime}$, it's well-known that deciding whether they accept the same language (i.e. $L(M) \stackrel{?}{=} L(M^{\prime})$ is undecidable in general by reduction from the Halting Problem.

Further, given the description of a Turing Machine , there is always a trivial simulation: Just construct a new Turing Machine $M^*$ that calls $M$ as a subroutine (using its description), which accepts if $M$ accepts and rejects if $M$ rejects. This only costs a linear overhead. Specifically, if $M$ runs in $t(n)$ computational steps, then $M^*$ runs in $O(t(n))$ (whereby "run," I mean "simulates $M$ exactly").

This suggests to me that if there's any serious traction to be gained here, the precise way you go about making the definition of the ideal of a complexity class is going to be fairly important. In particular, if you intend to show that the ideal of, say, $NP$ is $PSPACE$-hard, you'll have to rule out the notion of a trivial, linear-time simulation of the $NP$ machines in question.

With respect to the homotopy methods described in the talk/paper and GPS's $PSPACE$-completeness result, I believe the "gap" you're witnessing between $PPAD$-completeness and $PSPACE$-hardness is due to the distinction between finding any NE (in the sense of END OF LINE) and finding a unique NE given a specific, initial configuration (in the sense of OTHER END OF LINE).