Ефективно обчислювані варіанти складності Колмогорова

28

Складність префікса Колмогорова (тобто - це розмір мінімальної саморозмежувальної програми, що виводить ) має кілька приємних особливостей: $K(x)$ $x$

Це відповідає інтуїції, надаючи рядкам з малюнком або структурою меншу складність, ніж рядки без.
Це дозволяє визначити умовну складність , або навіть краще для деякого оракула . $K(x|y)$ $K(x|O)$ $O$
Це суб-добавка . $K(x,y) \leq K(x) + K(y)$

Однак це має жахливий мінус: повернення заданого можна визначити. $K(x)$ $x$

Мені було цікаво, чи існує варіант складності Колмогорова використанням обмеженої моделі обчислення (або з використанням слабших мов, ніж ТМ, або з використанням обмежених ресурсів TM), що зберігає функції (1) та (2) (особливість ( 3) це бонус, але не є обов'язковим) при ефективній обчисленні? $K'(x)$

Мотивація цього питання полягає у використанні в симуляційних дослідженнях різних іграшкових моделей еволюції. Таким чином, кращою є відповідь, яка раніше використовувалася як «грубе наближення» для складності Колмогорова в числовій роботі. Однак мета не є повністю експериментальною, тому відносно проста / чиста мова опису / модель обчислення для є кращою, щоб можна було довести деякі розумні теореми про те, наскільки різко відрізняється від і на яких струнах. $K'$ $K'$ $K$

Пов’язує питання

Складність Колмогорова зі слабкими мовами опису

Чи є розумне поняття алгоритму наближення для нерозв'язної проблеми?

it.information-theory kolmogorov-complexity formal-modeling

— Артем Казнатчеєв
джерело

10

Gzip. Чилібразі та Вітаній мають дуже гарну статтю, де вони використовують gzip як наближення складності Колмогорова до кластеризації. Кластеризація стисненням

— Чад Брюбекер
джерело

1

як вони визначають умовну складність?

— Артем Казнатчеєв

1

Нехай A і B - два документи, а AB - два об'єднані. Вони дивляться на відношення SIZE (gzip (A) + gzip (B)) до SIZE (gzip (AB)).

— Чад Brewbaker

1

Слід пам’ятати, що є недоліки використання gzip (і подібного) для наближення складності Колмогорова: bactra.org/notebooks/cep-gzip.html . Це не говорить про те, що це не корисно для кластеризації наборів даних у реальному житті, але воно говорить про те, що його корисність для наборів даних у реальному житті говорить нам щось про те, чим ці набори даних відрізняються від, скажімо, виводу генератора псевдовипадкових чисел ...

— Джошуа Грохов

3

$n = 2^m$

$x$ $|x| = 2^m$ $f_x: \{0,1\}^m \rightarrow \{0,1\}$ $K'(x)$ $f_x$ $2^m$ , у нас дієвий захід.

$i \in \{1,...,m\}$ $K(x|y)$ $|y| = 2^m$

$a$ $|a| = m$ $i$ $a_i$ $f_y(a)$ $K'(x|x) = 2$ $K'(x|y) \approx K(x)$ $y$

[Примітка: не ясно, чи можна все-таки ефективно обчислити умовну складність :(]

$x.y$ $0$ $x$ $1$ $y$ $K'(x.y) \leq K'(x) + K'(y)$

$K'(x)$ $x$ $|x| = 2^m$ $|y| = 2^l$ $m > l$ $K'(x.y) = K'(x) + K'(y)$

Також, на жаль, є деякі обмеження в моєму підході. Ми не можемо набагато вийти за рамки OBDD, якщо ми розглянемо мінімальні дерева рішень або просто BDD, тоді ми будемо перебиратись на проблеми з нестабільністю, розглянутими у цій відповіді . Навіть для змінних упорядковань OBDD, мабуть, є результати внутрішньостабільності . Тож здається, що OBDD є межею цього не дуже подібного до стандартного підходу Колмогорова-складності.

— Артем Казнатчеєв
джерело

2

Я не фахівець, але якщо вам потрібна практична міра складності для рядків, ви можете подивитися на міру складності Titchener.

Див . Веб-сайт Titchener для швидкого ознайомлення; його документи можна завантажити у форматі PDF .

Анотація - Нова міра складності рядків для кінцевих рядків представлена на основі конкретного рекурсивного ієрархічного процесу виробництва рядків . З максимальної межі виводимо залежність між складністю та загальним інформаційним змістом. ..повна стаття ...

Я також знайшов деякі статті щодо практичних реалізацій (див., Наприклад, " Швидкий алгоритм розкладання T ")

— Марціо Де Біасі
джерело

2

По суті, практично будь-який метод машинного навчання або стиснення є наближенням до складності Колмогорова:

$p(x)$ $- \log p(x)$
$n$ $K(x) \leq n + s_C$ $s_C$ $x$

Таким чином, ви можете просто шукати схеми з будь-яким компресором або розподілом ймовірностей, і чим вони краще стискають ваші дані, тим краща ваша верхня межа для K (x). Просто не забудьте додати розмір самого компресора до розміру стислих даних, щоб отримати оцінку.

$K(x)$

$K(x)$ $K$

Ви також можете використовувати часовий час, щоб визначити свій клас моделі, що приводить вас до відповіді Суреша. В основному, якщо ви припускаєте, що ваш джерело даних має багаточленну складність у часі, і ви намагаєтесь всі поліномічні машини Тюрінга стиснути його, ви можете бути впевнені, що ви точно оцінили складність Колмогорова. Це все ще може бути не так вже й практично, але для менших часових меж ви зможете обчислити повну байєсівську суміш, яка буде її добре наближати.

Технічні деталі див. У цій роботі . Відмова: Я один із авторів.

$K(x)$ $K(x)$

— Петро
джерело

-1

Ви шукаєте складність Колмогорова, обмежена ресурсами. Ви можете почати з цього паперу та відділитись.

— Суреш Венкат
джерело

2

дякую за посилання на документ, я згадую складність, обмежену ресурсами у питанні, але зацікавленість дійсно є в ефективних обчислювальних заходах. Схоже, з цієї статті видно, що «випадкові рядки» для цих моделей відповідають наборам високої складності. Це говорить про те, що вирішення складності рядка в цих моделях не є ефективно обчислюваним, ні?

— Артем Казнатчеєв