Ентропія Шеннона 0,922, 3 чіткі значення

14

З огляду на рядок значень , Шенноном ентропійним в журналі базі приходить до . Як я розумію, у базі закруглена ентропія Шеннона - це мінімальна кількість бітів у двійковій формі, щоб представити єдине одне із значень. $AAAAAAAABC$ $2$ $0.922$ $2$

Зі вступу на цій сторінці вікіпедії:

https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

Отже, як можна три значення представити одним бітом? $A$ може бути $1$ , $B$ може бути $0$ ; але як ви могли представляти $C$ ?

Спасибі заздалегідь.

— Шон С
джерело

16

Ентропія, яку ви обчислили, насправді не для конкретного рядка, а, скоріше, для випадкового джерела символів, що генерує $A$ з вірогідністю $\tfrac{8}{10}$ , а $B$ і $C$ з вірогідністю $\tfrac1{10}$ кожен, без кореляції між послідовними символами. Обчислена ентропія для цього розподілу $0.922$ означає, що ви не можете представляти рядки, згенеровані з цього розподілу, використовуючи в середньому менше $0.922$ біт на символ.

Можливо, буде досить важко розробити код, який дозволить досягти цієї швидкості. ^* Наприклад, кодування Хаффмана виділило б коди $0$ , $10$ і $11$ відповідно $A$ , $B$ і $C$ , в середньому $1.2$ біта на символ. Це досить далеко від ентропії, хоча все-таки набагато краще, ніж наївне кодування двох біт на символ. Будь-яка спроба краще кодування , ймовірно , буде використовувати той факт , що навіть пробіг десять разів поспіль s більш імовірно (ймовірність ) , ніж один . $A$ $0.107$ $B$

^* Виявляється, не так важко наблизитися, як хочеш - дивись інші відповіді!

— Девід Річербі
джерело

18

Ось конкретне кодування, яке може представляти кожен символ у середньому менше ніж 1 біт:

По-перше, розділіть рядок введення на пари послідовних символів (наприклад, AAAAAAAACC стає AA | AA | AA | AA | BC). Потім кодуйте AA як 0, AB як 100, AC як 101, BA як 110, CA як 1110, BB як 111100, BC як 111101, CB як 111110, CC як 111111. _{Я не сказав, що станеться, якщо є непарне кількість символів, але ви можете просто закодувати останній символ за допомогою довільного кодування, це не має значення, коли вхід довгий.}

Це код Хаффмана для розподілу незалежних пар символів і відповідає вибору $n = 2$ у відповіді Юваля. Більша $n$ призведе до ще кращих кодів (наближення до ентропії Шеннона, як він згадував).

Середня кількість бітів на пару символів для вищевказаного кодування становить

\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92

$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$ тобто

1.92 / 2 = 0.96

$1.92/2 = 0.96$ біт на символ, не так далеко від ентропії Шеннона насправді для такого простого кодування.

— кочовий тип
джерело

13

$\mathcal{D}$ $\{A,B,C\}$ $X \sim \mathcal{D}$ $\Pr[X=A] = 4/5$ $\Pr[X=B]=\Pr[X=C]=1/10$

$n$ $C_n\colon \{A,B,C\}^n \to \{0,1\}^*$

lim_{n \to \infty} \frac{E_{X_{1}, \dots, X_{n} \sim D} [C_{n} (X_{1}, \dots, X_{n})]}{n} = H (D) .

$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$

In words, if we encode a large number of independent samples from $\mathcal{D}$ , then on average we need $H(\mathcal{D}) \approx 0.922$ bits per sample. Intuitively, the reason we can do with less than one bit is that each individual sample is quite likely to be $A$ .

This is the real meaning of entropy, and it shows that computing the "entropy" of a string $A^8BC$ is a rather pointless exercise.

— Yuval Filmus
джерело