Моделювання ймовірності 1 з 2 ^ N з менш ніж N випадковими бітами

Скажіть, мені потрібно моделювати такий дискретний розподіл:

P (X = k) = {\begin{cases} \frac{1}{2^{N}}, & if k = 1 \\ 1 - \frac{1}{2^{N}}, & if k = 0 \end{cases}

$P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases}$

Найбільш очевидний спосіб - намалювати випадкових біт і перевірити, чи всі вони дорівнюють (або ). Однак теорія інформації говорить $N$ $0$ $1$

\begin{aligned} S & = - \sum_{i} P_{i} \log P_{i} \\ = - \frac{1}{2^{N}} \log \frac{1}{2^{N}} - (1 - \frac{1}{2^{N}}) \log (1 - \frac{1}{2^{N}}) \\ = \frac{1}{2^{N}} \log 2^{N} + (1 - \frac{1}{2^{N}}) \log \frac{2^{N}}{2^{N} - 1} \\ \to 0 \end{aligned}

$\begin{align} S & = - \sum_{i} P_i \log{P_i} \\ & = - \frac{1}{2^N} \log{\frac{1}{2^N}} - \left(1 - \frac{1}{2^N}\right) \log{\left(1 - \frac{1}{2^N}\right)} \\ & = \frac{1}{2^N} \log{2^N} + \left(1 - \frac{1}{2^N}\right) \log{\frac{2^N}{2^N - 1}} \\ & \rightarrow 0 \end{align}$

Таким чином, мінімальна кількість необхідних випадкових бітів фактично зменшується, коли стає великим. Як це можливо? $N$

Будь ласка, припустіть, що ми працюємо на комп’ютері, де біти є вашим єдиним джерелом випадковості, тому ви не можете просто скинути упереджену монету.

— налзок
джерело

Це тісно пов'язане з теорією кодування та складністю Колмогорова, якщо ви шукаєте ключові слова, щоб копати глибше. Техніка підрахунку повторюваних прогонів того ж біта, який DW згадує нижче, з'являється багато - ці конспекти лекцій стосуються його, наприклад, people.cs.uchicago.edu/~fortnow/papers/kaikoura.pdf

— Брайан Гордон

Відповіді:

Ух, чудове запитання! Дозвольте спробувати пояснити резолюцію. Це зробить три чіткі кроки.

Перше, що слід зазначити, це те, що ентропія орієнтована більше на середню кількість бітів, необхідних за нічию, а не на максимальну кількість необхідних біт.

З вашої вибірки процедури, максимальне число випадкових бітів , необхідних в розіграші $N$ бітів, але середнє число бітів , необхідних на 2 біта (середнє геометричне розподіл з $p=1/2$ ) - це тому , що є $1/2$ ймовірність того, що вам потрібно тільки 1 біт (якщо перший біт виявляється 1), а $1/4$ ймовірність того, що вам потрібно тільки 2 біта (якщо перші два біта виявляються 01), A $1/8$ ймовірність того, що вам знадобляться лише 3 біти (якщо перші три біти виявляються 001) тощо.

Друге, що слід зазначити, це те, що ентропія насправді не фіксує середню кількість бітів, необхідних для одного розіграшу. Натомість ентропія фіксує амортизовану кількість бітів, необхідних для вибірки $m$ iid черпає з цього розподілу. Припустимо, нам потрібні $f(m)$ біти для вибірки $m$ малюнків; то ентропія - межа $f(m)/m$ як $m \to \infty$ .

Третє, що слід зауважити, це те, що при такому розподілі ви можете вибирати $m$ iid малюнки з меншою кількістю бітів, ніж потрібно для багаторазової вибірки одного малюнка. Припустимо, ви наївно вирішили намалювати один зразок (займає 2 випадкових біта в середньому), потім намалюйте інший зразок (використовуючи ще 2 випадкових біта в середньому) і так далі, доки ви не повторите це $m$ разів. Для цього потрібно в середньому близько $2m$ випадкових біт.

Але виявляється, існує спосіб вибірки з $m$ малюнків, використовуючи менше $2m$ біт. У це важко повірити, але це правда!

Дозвольте дати вам інтуїцію. Припустимо, ви записали результат вибірки $m$ малюнків, де $m$ дійсно великий. Тоді результат можна вказати як $m$ бітну рядок. Цей $m$ бітовий рядок буде здебільшого 0, з ним декілька 1: зокрема, він в середньому матиме приблизно $m/2^N$ 1 (може бути більше або менше, ніж це, але якщо $m$ досить великий, зазвичай це число буде близько до цього). Довжина зазорів між 1-х випадкова, але зазвичай буде десь розпливчасто поблизу $2^N$ (легко може бути вдвічі меншим або вдвічі більшим, але навіть такого порядку). Звичайно, замість того, щоб записати весь $m$ бітовий рядок, ми могли б записати його більш лаконічно, записавши список довжин прогалин - який містить всю ту саму інформацію, у більш стисненому форматі. На скільки ще лаконічніше? Ну, нам зазвичай потрібно близько $N$ біт, щоб представити довжину кожного проміжку; і буде близько $m/2^N$ зазорів; тож нам знадобиться загалом близько $mN/2^N$ біт (може бути трохи більше, може бути трохи менше, але якщо $m$ досить великий, зазвичай це буде близько до цього). Це набагато коротше, ніж а $m$ -бітна рядок

І якщо є спосіб записати рядок це лаконічно, можливо, це буде не надто дивно, якщо це означає, що існує спосіб генерувати рядок з кількістю випадкових бітів, порівнянних з довжиною рядка. Зокрема, ви випадково генеруєте довжину кожного проміжку; це вибірки з геометричного розподілу з $p=1/2^N$ , і що може бути зроблено з приблизно $\sim N$ випадкових бітів в середньому (НЕ $2^N$ ). Вам знадобиться близько $m/2^N$ iid черпає з цього геометричного розподілу, тому вам знадобиться загалом приблизно $\sim Nm/2^N$ випадкові біти. (Це може бути невеликий постійний коефіцієнт, більший, але не надто великий.) І зауважте, що це набагато менше, ніж $2m$ біт.

Отже, ми можемо відібрати вибірку $m$ iid з вашого розповсюдження, використовуючи лише $f(m) \sim Nm/2^N$ випадкових бітів (приблизно). Нагадаємо, що ентропія є $\lim_{m \to \infty} f(m)/m$ . Таким чином , це означає , що ви повинні очікувати , що ентропія буде (приблизно) $N/2^N$ . Це трохи виключається, оскільки вищевказаний розрахунок був ескізним та грубим - але, сподіваємось, він дає вам певну інтуїцію, чому ентропія є такою, яка вона є, і чому все послідовно та розумно.

— DW
джерело

Ух, чудова відповідь! Але ви могли б детальніше пояснити, чому вибірки з геометричного розподілу з

в середньомузаймає

біт? Я знаю, що така випадкова величина матиме середнє значення

, томудля зберіганняпотрібно в середньому

біт, але я припускаю, що це не означає, що ви можете генерувати одну з

біт.

p = \frac{1}{2^{N}}

$p=\frac{1}{2^N}$

N

$N$

2^{N}

$2^N$

N

$N$

N

$N$

— nalzok

@nalzok, Справедливе запитання! Чи можете ви поставити це як окреме запитання? Я можу побачити, як це зробити, але зараз це трохи безладно. Якщо ви запитаєте, можливо, хтось дійде до відповіді швидше, ніж я можу. Підхід, про який я думаю, схожий на арифметичне кодування. Визначте

(де

- геометричний rv), потім генеруйте випадкове число

в інтервалі

і знайдіть

таким, що

q_{i} = Pr [X \leq i]

$q_i = \Pr[X\le i]$

X

$X$

r

$r$

[0, 1)

$[0,1)$

i

$i$

q_{i} \leq r < q_{i + 1}

$q_i \le r < q_{i+1}$ . Якщо ви запишете біти бінарного розширення

один за одним, зазвичай після запису

біт

буду повністю визначений.

r

$r$

N + O (1)

$N+O(1)$

r

$r$

i

$i$

— DW

Отже, ви в основному використовуєте зворотний метод CDF для перетворення рівномірно розподіленої випадкової змінної у довільний розподіл у поєднанні з ідеєю, подібною до двійкового пошуку? Мені потрібно буде проаналізувати кількісну функцію геометричного розподілу, щоб бути впевненим, але цього натяку достатньо. Спасибі!

— nalzok

@nalzok, ах, так, це приємніший спосіб подумати над цим - прекрасний. Дякую, що ви запропонували це. Так, це я мав на увазі.

— DW

Ви можете подумати про це назад: розгляньте проблему бінарного кодування замість генерації. Припустимо , що у вас є джерело , яке випромінює символи $X\in \{A,B\}$ з $p(A)=2^{-N}$ , $p(B)=1-2^{-N}$ . Наприклад, якщо $N=3$ , отримаємо $H(X)\approx 0.54356$ . Отже, (каже нам Шеннон) існує унікальне декодируване двійкове кодування $X \to Y$ , Де $Y \in \{0,1\}$ (біти даних), таким чином, що нам потрібно, в середньому, близько $0.54356$ біт даних для кожного вихідного символу $X$ .

(Якщо вам цікаво, як таке кодування може існувати, враховуючи, що у нас є лише два вихідних символу, і, здається, ми не можемо зробити кращого, щоб тривіальне кодування, $A\to 0$ , $B\to 1$ , з одним бітом на символ, вам потрібно щоб зрозуміти, що для наближення межі Шеннона нам потрібно взяти "розширення" джерела, тобто кодувати послідовності входів у цілому. Див., зокрема, арифметичне кодування).

Після того, як вищесказане зрозуміло, якщо припустити, що ми маємо обернене відображення $X^n \to Y^n$ , і зауваживши, що в межі Шеннона $Y^n$ повинна мати максимальну ентропію (1 біт інформації на біт даних), тобто $Y^n$ має статистика справедливої монети, тоді у нас є схема генерації: намалюйте $n$ випадкових біт (тут $n$ не має відношення до $N$ ) з справедливою монетою, інтерпретуйте її як вихід $Y^n$ кодера, і декодуйте $X^n$ від це. Таким чином $X^n$ $H(X)<1$ $X$

— леонблой
джерело