Чи є узагальнення теорії інформації до поліноміально пізнаваної інформації?

9

Прошу вибачення, це трохи "м'яке" питання.

Інформаційна теорія не має поняття обчислювальної складності. Наприклад, екземпляр SAT або екземпляр SAT плюс біт, що вказує на задоволення, несуть однаковий обсяг інформації.

Чи існує можливість формалізувати поняття "поліноміально пізнавані"?

Такий фреймворк може визначити, наприклад, поняття розбіжності полінома-KL між випадковою змінною X відносно Y як кількість бітів, необхідних для обчислення X у поліноміальний час, заданий Y.

Аналогічно, ентропія випадкової змінної X може бути визначена як кількість бітів, необхідних для кодування X способом, який може бути декодований у поліноміальний час.

Чи вивчено таке узагальнення? Чи можна це зробити послідовним?

cc.complexity-theory it.information-theory polynomial-time

— Артур Б
джерело

1

Ви намагалися задати це питання на Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus

2

Цілком можливо, що криптовалюта може відповісти, але питання тут ідеально тематично, і я підозрюю, що це може мати більше шансів отримати хорошу відповідь тут. Лише коротка примітка: будь ласка, не публікуйте повторно те саме питання на Crypto.SE; перехресне повідомлення на декількох веб-сайтах SE заборонено правилами сайту.

— DW

9

Так. Ограничена часом складність Колмогорова є хоча б одним із таких «узагальнень» (хоча строго кажучи, це не узагальнення, а споріднене поняття). Зафіксуйте універсальну машину Тюрінга $U$ . The $t(n)$ - обмежена часом Колмогорова складність струни $x$ задано рядок $y$ (щодо $U$ ), позначається $K^t_U(x | y)$ (підпис $U$ часто пригнічується) визначається як найкоротша струна $p$ ("програма" для $U$ ) такий як $U(p,y)=x$ і такі, що обчислення $U(p,y)$ займає максимум $t(|x|)$ час. Якщо ви сприймаєте це як своє визначення "умовної інформації", то ви також можете визначити всі звичні поняття з теорії інформації.

Однак у цій обмеженій часом обстановці, як відомо , не всі звичні теореми інформації. Наприклад, відомо, що симетрія інформації дотримується звичайної складності Колмогорова (не обмежена в часі), але невідомо, що вона утримується за обмеженою часом. Дивіться, наприклад, главу 6 тези Трой Лі .

Якщо ви стурбовані тим, що це стосується рядків, а не дистрибутивів, я пропоную прочитати наступні статті, в яких сказано, що насправді складність рядків і ентропія розподілу Шеннона Колмогорова дуже тісно пов'язані:

Грунвальд та Вітаній. Інформація про Шеннона та складність Колмогорова
Молот, Ромащенко, Шень, Верещагін. Нерівності для ентропії Шеннона та складності Колмогорова .

(З іншого боку, є деякі властивості, які, як відомо, не діляться між ними, див. Мучник і Верещагін, Ентропія Шеннона проти Колмогорова .)

— Джошуа Грохов
джерело

Моє основне занепокоєння було б тим, що час залежить від машини Тьюрінга. Оскільки машини Тьюрінга можуть наслідувати один одного з максимум поліномічним прискоренням або прискоренням швидкості, пеналізація складності за допомогою log (log (t)), здавалося б, робить їх еквівалентом до постійної добавки. Однак складність Левіна використовує log (t), я не знаю чому.

— Артур Б

1

@ Артур В: Я розумію вашу стурбованість, але, мабуть, існує декілька стандартних способів. Як правило, коли ви доводите твердження про, наприклад, обмежену часом складність Колмогорова, ви можете довести твердження форми "для всіх поліноміальних часових меж

t (n)

$t(n)$ , ... ", коли будь-яке сповільнення / прискорення поліномів, що виникає при зміні універсальної машини, вже не має значення, оскільки ця заява застосовується в будь-якому випадку. (Я не дотримувався того, про що ви говорили.

\log \log t

$\log \log t$ , але я думаю, що це просто інший спосіб спробувати вирішити цю проблему ...)

— Джошуа Грохов,

2

Одне питання полягає в тому, що багато теорем, до яких ми звикли в теорії інформації, не належать до обчислювального світу. Отже, навіть якщо ми формалізували обчислювальний аналог ентропії, отримана теорія може вже не схожа на теорію інформації.

Наприклад, якщо $f$ є детермінованою функцією, значить $H(f(X)) \le H(X)$ . Однак для будь-якого правдоподібного обчислювального поняття ентропії це більше не буде мати місце: подумайте, наприклад, про генератор псевдовипадкових випадків, який розтягне коротке насіння у довгий псевдослучайний вихід. За будь-яким можливим визначенням обчислювальної ентропії я можу собі уявити, що довгий псевдовипадковий вихід матиме велику обчислювальну ентропію (він обчислювально не відрізняється від рівномірного розподілу на цих довгих рядках), порушуючи таким чином $H(f(X)) \le H(X)$ .

— DW
джерело

Я розумію, мені просто цікаво, скільки можна врятувати чи зафіксувати. У цьому випадку ви можете додати обмеження, що f є многочленно-зворотним, але це відчувається тимчасово

— Артур Б

Я вважаю, що насіння містить більше інформації, ніж створена псуедо-випадкова рядок, оскільки ми можемо обчислити генеровану рядок із насіння.

— Каве

@Kaveh, якщо ви говорите в інформаційно-теоретичному сенсі: якщо генератор псевдовипадкових є неперевернутим (можливо, не в поліноміальний час, але в принципі), то його введення та вихід мають однаковий обсяг інформації, теоретично інформації; в іншому випадку, якщо псевдовипадковий суб'єктив невернутий, то ви праві.

— DW

0

Мені не відома інформаційно-теоретична обчислювальна модель, але є чіткі програми теорії інформації для обчислювальної складності.

Наприклад, класичний $n \log n$ Нижня межа порівняльного сортування заснована на інформаційно-теоретичному аргументі про висоту дерева рішень, необхідного для розмежування всіх можливих порядків вхідних даних. Можна аналогічно скласти тривіальні інформаційно-теоретичні межі щодо обчислювальної складності пошуку, статистики замовлень, середнього рівня тощо.

Більш типово інформаційно-теоретичні результати можуть слугувати меншими межами складності обчислювальної техніки. Наприклад, "інформаційно-теоретичний" результат Яо про складність зв'язку {1} передбачає обчислювальні нижчі межі визначення того, чи є два множини рівними. Більш складні програми складності зв'язку забезпечують компроміси в часі та просторі для машин Тьюрінга {2}.

{1} Яо, Ендрю Чи-Чи. "Деякі питання складності, пов'язані з розподільними обчисленнями (попередній звіт)." Матеріали одинадцятого щорічного симпозіуму ACM з теорії обчислень. ACM, 1979 рік.

{2} Еял Кушилевіц: Складність спілкування. Успіхи в комп'ютерах 44: 331-360 (1997).

— Арі Трахтенберг
джерело