Наскільки хороший код Хаффмана, коли немає великих імовірних букв?

Код Хаффмана для розподілу ймовірностей - код префікса з мінімально зваженою середньою довжиною кодового слова , де - довжина го кодового слова. Загальновідома теорема, що середня довжина на символ коду Хаффмана становить між та , де - ентропія Шеннона розподілу ймовірностей $p$ $\sum p_i \ell_i$ $\ell_i$ $i$ $H(p)$ $H(p)+1$ $H(p) = -\sum_i \, p_i \log_2 p_i$

Канонічний поганий приклад, коли середня довжина перевищує ентропію Шеннона майже на 1, - це розподіл ймовірностей, такий як , де ентропія майже 0, а середня довжина кодового слова - 1. Це дає зазор між ентропією та довжиною кодового слова майже . $\{.999, .001\}$ $1$

Але що відбувається, коли існує обмеження найбільшої ймовірності в розподілі ймовірностей? Припустимо, наприклад, що всі ймовірності менші ніж . Найбільший розрив, який я міг би знайти в цьому випадку, полягає в розподілі ймовірностей, таких як , де ентропія трохи більше 1, а середня довжина кодового слова трохи менше 1,5, що дає розрив наближається до . Це найкраще, що ви можете зробити? Чи можете ви вказати верхню межу зазору, яка строго менша за 1 для цього випадку? $\frac{1}{2}$ $\{.499, .499, .002\}$ $0.5$

Тепер розглянемо випадок, коли всі ймовірності дуже малі. Припустимо , ви вибираєте розподіл ймовірностей букв, кожна з яких має ймовірність . У цьому випадку найбільший розрив виникає, якщо вибрати . Тут ви отримуєте проміжок навколо Це найкраще, що ви можете зробити в ситуації, коли всі ймовірності невеликі? $M$ $1/M$ $M \approx 2^k \ln 2$

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$

Це питання було натхнене цим питанням TCS Stackexchange .

optimization it.information-theory coding-theory

— Петро Шор
джерело

Відповіді:

Існує маса робіт, які вивчають саме ту проблему, яку ви згадуєте. Перший у серії - стаття Галлагера, "Варіації на тему Хаффмана", IEEE-IT, том. 24, 1978, с. 668-674. Він доводить , що різниця між середньою довжиною кодового слова коду Хаффмана і ентропії (він називає це кількість «надмірність») завжди строго менше (= по величині ймовірності в розподілі ймовірностей), в разі , а це менше , ніж , якщо . Кращі межі відомі, їх можна знайти в численних працях, в яких цитується робота Галлагера. $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— Уго
джерело

Оптимальна межа була знайдена Манштеттеном, щільна межа надмірності кодів Хаффмана .

— Yuval Filmus

Судячи з обмеженості , я вважаю, що ви мали намір задати інше питання ... або ви просто не вказали, як ви приймаєте "середнє". Тож я відповім обом. Відповідь не на обидва питання. $H(p) \leq \ldots \leq H(p)+1$

По-перше, якщо ви визначаєте середню довжину коду, використовуючи рівномірний розподіл на кодові слова, і приймаєте як верхню межу щодо ймовірності будь-якого одного елемента, то розгляньте код довжини де кодові слова мають довжину а решта мають довжину . Для розподілу, ідеально закодованого цим кодом, середня довжина наближається до , якщо ви також не маєте нижньої межі ймовірності одного елемента, тоді як ентропія $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ . $q+\frac{k}{2}$

Тепер розглянемо "середню довжину", що означає середню довжину кодового слова, коли код Хаффмана використовується для кодування . Тут межа щільно, і приклад розподілу його досягнення в межі є той , в якому кожен елемент має місце з ймовірністю для (Кінцевому елементу присвоюється будь-яка вірогідність залишку, але це не матиме різниці асимптотично). $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

Наприклад, розглянемо Потім $q = 7.$

дає. Наш розподіл маєелементи з вірогідністю ,з ймовірністю , і один елемент отримує залишки. $A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

Тоді , тоді як код Хаффмана досягає втрати ентропії. (Між іншим, втрата ентропії має ім'я, чи робите ви кодування Хаффмана чи довільне кодування для : дивергенція Куллбека-Ліблера $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ . Використовуючи це, я виявив кілька днів тому, призводить до більш жорстких двосторонніх меж Черноффа, як це можна побачити у Вікіпедії для меж Черноффа.) $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— Карл
джерело

Мене дещо бентежить цей другий приклад. Якщо у вас 128 кодових слів, то існує код із середньою довжиною слова 7 (насправді всі довжини слова мають 7), що суперечить вашому твердженню, що ентропія - 7.09375. Ентропія цього розподілу (яку ви отримуєте, взявши середньозважене значення

а не середнє) - 6,88, тоді як середня довжина коду Хаффмана - 7. Це дає розрив (або розбіжність Куллбека-Ліблера) приблизно 0,12, що здається трохи кращим, ніж мій приклад, але не близький до 1.

- \log_{2} p_{i}

$-\log_2 p_i$

— Пітер Шор

І справді, ви праві. Я мав намір запитати про очікувану довжину кодового слова під розподілом ймовірності

p

$p$

— Пітер Шор

До жаль, я прорахувався про

проти

. Ми все ще хочемо

A

$A$

B

$B$

трохи менше

, але щось на зразок

, щоб примусити менші записи до нижнього ряду. Це дає

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— Карл

Насправді це було б

... але ця система рівнянь не має позитивного рішення - схоже, ми не можемо змусити все бути напівцілістю

. Тож замість

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

ми можемо вважати, наприклад

для половини коду Хаффмана і

для решти, даючи

записи ...

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— Карл

Отже, спробуйте це (не оптимально - гадаю, це залежить від того, як ви вирішите округлити чи вгору).

записів з ймовірністю

має ентропійний

. Замість того, щоб змінити що

записів з ймовірністю

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

записів з ймовірністю

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

. Ентропія цього розподілу дорівнює

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

який дає 6.4023,той час як ентропія коду Хаффмана 7.5 під формі, і

Тож якщо я не прорахував (і це роблю часто), це дає розрив приблизно в

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$

— Карл