Результати кодування каналів з використанням складності Колмогорова

12

Зазвичай ентропія Шеннона використовується для доведення результатів кодування каналів. Навіть для результатів розділення вихідних каналів використовується ентропія Шеннона. Враховуючи еквівалентність між поняттями Шеннона (глобальна) та Колмогорова (локальні), чи було проведено дослідження щодо використання складності Колмогорова для цих результатів (або принаймні для заміни кодуючої частини джерела у результатах поділу каналу джерела)?

it.information-theory kolmogorov-complexity shannon-entropy

— проти
джерело

Ви подивилися третє видання книги " Лі і Вітані" ? Якщо я не помиляюся, 8-й розділ книги був доданий в новітньому виданні і містить розділ з інформаційної теорії. Він містить ентропію Шеннона, взаємну інформацію, спотворення швидкості тощо, проаналізовану в розумінні складності Колмогорова.

— Juho

Привіт, це правда. Але до теорії про шумне кодування Шеннона немає додатків!

— проти

8

Що стосується ємності каналу, важко замінити ентропію Шеннона складністю Колмогорова. Визначення ємності каналу не містить жодної згадки про ентропію. Використання ентропії Шеннона дає правильну формулу пропускної здатності каналу (це теорема Шеннона). Якщо ви замінили формулу на ентропію Шеннона формулою зі складністю Колмогорова, це, мабуть, була б іншою формулою, і тому це була б неправильна відповідь .

Якщо ви хочете відправити рядок зі складністю Колмогорова через канал з ємністю використовуючи лише трохи більше, ніж використовує канал , це дуже просто. Знайдіть опис машини Тюрінга, яка виробляє рядок. Потім кодуйте його кодом, що виправляє помилки, щоб цей опис можна було надіслати через галасливий канал лише з невеликою ймовірністю помилки. $K$ $C$ $K/C$

Важка частина теореми поділу джерела-каналу показує, що ви не можете зробити краще, ніж очевидний метод (описаний у попередньому пункті) спочатку стиснення, а потім кодування. Я не знаю, чи хтось довів це для складності Колмогорова та пропускної спроможності каналу, але це розумне питання для дослідження.

— Петро Шор
джерело

Я пропускаю щось тонке, чи це випливає з визначення складності Колмогорова? Тобто, будь-яка схема для передачі рядка з асимптотично меншим розміром, ніж бітів, з постійними накладними витратами перетворюється на TM розміром, асимптотично меншим за (тобто декодер плюс повідомлення), що відтворює початкову рядок?

K

$K$

K

$K$

— usul

1

@usul: для каналів, які передають біти, . З іншого боку, я підозрюю, що це доведеться досить легко довести, використовуючи інструменти теорії інформації.

C \leq 1

$C \leq 1$

— Пітер Шор

@ PeterShor "...... Якби ви замінили формулу на ентропію Шеннона формулою зі складністю Колмогорова, імовірно, це була б інша формула ....". Наскільки відрізнялася б ця формула? Зазвичай стиснення Колмогорова забезпечує додатковий мультипликативний коефіцієнт стиснення якщо оптимальна кількість біт дорівнює (Наприклад, версія KC теореми про просте число дає фактор у знаменник). Скажіть, ємність , тоді навіть якщо KC дав , було б цікаво. У вас є якісь розрахунки? Також відомі також SE та KC.

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

— Т ....

1

Я не впевнений, про що ви говорите, коли використовуєте місцеві / глобальні кваліфікатори щодо ентропії Шеннона та складності Колмогорова.

Тож виправте мене, якщо я помиляюся.

Ентропія Шеннона обчислюється. Складність Колмогорова - ні. Тому вони не описують однакову проблему.

Ентропія Шеннона можна побачити як верхню межу складності Колмогрова.

— Філ
джерело

Як ентропія Шеннона є верхньою межею? Я вважаю, що доведено, що і те саме.

— Т ....