Чому генерується 8 випадкових біт рівномірно на (0, 255)?

Я генерую 8 випадкових бітів (або 0, або 1) і об'єдную їх разом, щоб утворити 8-бітове число. Просте моделювання Python дає рівномірний розподіл на дискретному наборі [0, 255].

Я намагаюся виправдати, чому це має сенс у моїй голові. Якщо я порівняю це з гортанням 8 монет, чи не очікуване значення буде десь 4 голови / 4 хвости? Тож для мене є сенс, що мої результати повинні відображати шип посередині діапазону. Іншими словами, чому послідовність з 8 нулів або 8 з них здається настільки ж імовірною, як послідовність 4 і 4, або 5 і 3 і т.д.? Що я тут пропускаю?

TL; DR: Різкий контраст між бітами та монетами полягає в тому, що у випадку з монетами ви ігноруєте порядок результатів. HHHHTTTT трактується так само, як і TTTTHHHH (обидві мають 4 голови та 4 хвости). Але в бітах ви дбаєте про порядок (адже вам потрібно надати "ваги" бітовим позиціям, щоб отримати 256 результатів), тому 11110000 відрізняється від 00001111.

Більш тривале пояснення: Ці поняття можуть бути точніше уніфіковані, якщо ми трохи формальніші в постановці проблеми. Розглянемо експеримент як послідовність восьми випробувань з дихотомічними результатами та ймовірністю «успіху» 0,5 та «невдачі» 0,5, а випробування незалежні. Взагалі я назву це успіхами, n загальними випробуваннями і n - k невдачами, а ймовірність успіху - p .$k$$n$$n-k$$p$

• У прикладі монети результат " $k$ голови, $n-k$ хвости" ігнорує впорядкування випробувань (4 голови - 4 голови, незалежно від порядку їх виникнення), і це породжує ваше зауваження, що 4 голови більше, ніж 0 або 8 голів. Чотири голови більш поширені, оскільки існує багато способів скласти чотири голови (TTHHTTHH, HHTTHHTT тощо), ніж є якесь інше число (8 голів мають лише одну послідовність). Біноміальна теорема дає кількість способів скласти ці різні конфігурації.

• На противагу цьому, порядок важливий для бітів, оскільки кожне місце має пов’язану "вагу" або "значення місця". Одна властивість двочленного коефіцієнта полягає в тому, що$2^n=\sum_{k=0}^n\binom{n}{k}$ , тобто якщо підрахувати всі різні упорядковані послідовності, отримаємо . Це безпосередньо пов'язує уявлення про те, скільки існує різних способів складання голів у біноміальних випробуваннях до кількості різних послідовностей байтів.$2^8=256$$k$$n$

• Крім того, ми можемо показати, що 256 результатів однаково ймовірні за властивістю незалежності. Попередні випробування не впливають на наступний випробування, тому ймовірність конкретного впорядкування, як правило, (оскільки спільна ймовірність незалежних подій є результатом їх вірогідності). Оскільки випробування справедливі, , це вираження зводиться до . Оскільки всі впорядкування мають однакову ймовірність, ми маємо рівномірний розподіл за цими результатами (що шляхом двійкового кодування може бути представлено у вигляді цілих чисел у ).$p^k(1-p)^{n-k}$$P(\text{success})=P(\text{fail})=p=0.5$$P(\text{any ordering})=0.5^8=\frac{1}{256}$$[0,255]$

• Нарешті, ми можемо повернути це повне коло назад до кидання монети та розподілу біномів. Ми знаємо, що поява 0 голів не має такої ж ймовірності, як 4 голови, і це тому, що існують різні способи впорядкування зустрічей 4 голів, а кількість таких упорядкувань задається біноміальною теоремою. Отже, повинен бути зважений якось, конкретно, він повинен бути зважений двочленним коефіцієнтом. Отже, це дає нам PMF біноміального розподілу, . Це може бути дивно, що це вираз є PMF, конкретно тому, що не відразу очевидно, що він дорівнює 1. Щоб перевірити, ми повинні перевірити, що$P(\text{4 heads})$$P(k \text{ successes})=\binom{n}{k}p^k(1-p)^{n-k}$$\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}=1$однак це лише проблема біноміальних коефіцієнтів: .$1=1^n=(p+1-p)^n=\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}$

чому послідовність з 8 нулів або 8 з них здається настільки ж імовірною, як послідовність 4 і 4, або 5 і 3 і т.д.

Явний парадокс можна узагальнити двома пропозиціями, які можуть здатися суперечливими:

1. Послідовність (вісім нулів) однаково вірогідна, як і послідовність s 2 : 01010101 (чотири нулі, чотири). (Загалом: усі 2 8 послідовностей мають однакову ймовірність, незалежно від того, скільки нулів / одиниць у них є.)$s_1: 00000000$$s_2: 01010101$$2^8$

2. Подія " : послідовність мала чотири нулі " є більш вірогідною (дійсно, в 70 разів більш імовірною), ніж подія " e 2 : послідовність мала вісім нулів ".$e_1$$70$$e_2$

Ці пропозиції є правдивими. Тому що подія включає багато послідовностей.$e_1$

Усі послідовності мають однакову ймовірність 1/2 8 = 1/256. Це неправильно думати , що послідовності , які мають ближче до рівного числа 0 і 1 ймовірніше , так як питання інтерпретуються .. Повинно бути ясно , що ми приходимо до 1/256 , тому що ми вважаємо , незалежність від суду до суду . Ось чому ми множимо ймовірності, і результат одного випробування не впливає на наступне.$2^8$$2^8$

ПРИКЛАД з 3 бітами (часто приклад є більш наочним)

Я запису натуральні числа від 0 до 7 як:

• Число в базі 10
• Число в базі 2 (тобто послідовність бітів)
• Серія монетних переворотів, що має на увазі представлення основи 2 (1 позначає фліп голови, а 0 позначає фліп хвостів).

Вибір натурального числа від 0 до 7 з однаковою ймовірністю еквівалентно вибору однієї з серій монет перевернути праворуч з однаковою ймовірністю.

$\frac{1}{8}$$\frac{3}{8}$$\frac{3}{8}$$\frac{1}{8}$

Відповідь Sycorax правильна, але, здається, вам не зовсім зрозуміло, чому саме. Коли ви перегортаєте 8 монет або генеруєте 8 випадкових біт з урахуванням порядку, ваш результат буде однією з 256 однаково вірогідних можливостей. У вашому випадку кожен з цих 256 можливих результатів однозначно відображається на ціле число, тому ви отримуєте рівномірний розподіл як результат.

Якщо ви не приймаєте до уваги порядок, наприклад, враховуючи, скільки головок чи хвостів у вас є, є лише 9 можливих результатів (0 головки / 8 хвостів - 8 голов / 0 хвостів), і вони вже не однаково вірогідні. . Причиною цього є те, що з 256 можливих результатів є 1 комбінація фліп, що дає 8 головок / 0 хвостів (HHHHHHHH) та 8 комбінацій, які дають 7 голов / 1 хвоста (хвости в кожній з 8 позицій у порядку), але 8C4 = 70 способів мати 4 головки та 4 хвости. У випадку гортання монети кожна з цих 70 комбінацій відображається на 4 головки / 4 хвости, але в задачі з двійковим числом кожен з цих 70 результатів відображає на єдине ціле число.

$p(0)=p(1)=\frac{1}{2}$

Відповідь: Є два різних кодування; 1) кодування без втрат перестановок і 2) кодування втрат комбінацій.

$\sum_{i=1}^82^{i-1}{X_i}$${X_i}$$i^{th}$$2^8=256$. Тоді випадково можна перевести ці двійкові цифри в базові 10 чисел від 0 до 255 без втрати унікальності, або з цього приводу можна переписати це число, використовуючи будь-яке інше кодування без втрат (наприклад, стислі дані без втрат, Hex, Octal). Але саме питання є бінарним. Кожна перестановка є однаковою мірою ймовірною, тому що існує лише один спосіб створення кожної унікальної послідовності кодування, і ми припустили, що поява 1 або 0 є однаково вірогідним у будь-якій точці цього рядка, так що кожна перестановка однаково вірогідна.

$\sum_{i=1}^82^{0}{X_i}$$C(8,\sum_{i=1}^8{X_i})$$\sum_{i=1}^8{X_i}$$C(8,4)$

Примітка. На даний момент вищевказана відповідь є єдиною, що містить явне обчислювальне порівняння двох кодувань, і єдина відповідь, яка навіть згадує поняття кодування. Щоб виправити це, знадобився певний час, через що ця відповідь була спростована історично. Якщо є якісь невирішені скарги, залиште коментар.

Оновлення: з моменту останнього оновлення я із задоволенням бачу, що поняття кодування почало втягуватися в інші відповіді. Щоб це явно показати для поточної проблеми, я додав кількість перестановок, котрі втрачаються в кожній комбінації.

$C(8,n)-1$$n$$0$$69$$256-9=247$

Я хотів би трохи розширити ідею залежності порядку від незалежності.

У задачі обчислення очікуваної кількості голів від перегортання 8 монет ми підсумовуємо значення з 8 однакових розподілів, кожен з яких - розподіл Бернуллі [; B(1, 0.5) ;](іншими словами, 50% шанс 0, 50% шанс 1). Розподіл суми - це біноміальний розподіл [; B(8, 0.5) ;], який має звичну форму горба з більшою часткою ймовірності, зосередженою навколо 4.

У задачі обчислення очікуваного значення байта, виготовленого з 8 випадкових біт, кожен біт має інше значення, яке воно сприяє байту, тому ми підсумовуємо значення з 8 різних розподілів. Перше [; B(1, 0.5) ;], друге [; 2 B(1, 0.5) ;], третє [; 4 B(1, 0.5) ;], так до восьмого, що є [; 128 B(1, 0.5) ;]. Розподіл цієї суми зрозуміло зовсім відрізняється від першої.

Якби ви хотіли довести, що цей останній розподіл є рівномірним, я думаю, ви могли б це зробити індуктивно - розподіл найнижчого розряду є рівномірним з діапазоном 1 за припущенням, тож ви хочете показати, що якщо розподіл найменших [; n ;]бітів є рівномірним з діапазоном [; 2^n - 1} ;]потім додавання [; n+1 ;]st біта робить розподіл найнижчих [; n + 1 ;]бітів рівномірним з діапазоном [; 2^{n+1} - 1 ;], досягаючи доказів для всіх позитивних[; n ;]. Але інтуїтивно зрозумілий спосіб, мабуть, прямо протилежний. Якщо ви починаєте з найвищого біта і вибираєте значення по одному вниз до низького біта, кожен біт розділяє простір можливих результатів рівно навпіл, і кожна половина вибирається з однаковою ймовірністю, тому до моменту, коли ви перейдете до знизу, кожне окреме значення повинно було мати однакову ймовірність.

Якщо ви виконуєте двійковий пошук, порівнюючи кожен біт, то вам потрібно однакова кількість кроків для кожного 8-бітного числа, від 0000 0000 до 1111 1111, вони мають довжину 8 біт. На кожному кроці двійкового пошуку обидві сторони мають шанс 50/50 виникнення, тож врешті-решт, оскільки кожне число має однакову глибину та однакові ймовірності, без реального вибору, кожне число повинно мати однакову вагу. Таким чином, розподіл повинен бути рівномірним, навіть коли кожен окремий біт визначається обертами монети.

Однак цифра цифр не є рівномірною і по розподілу дорівнюватиме викиданню 8 монет.

Існує лише одна послідовність з вісьмома нулями. Існує сімдесят послідовностей з чотирма нулями та чотирма.

Тому, хоча 0 має ймовірність 0,39%, а 15 також має ймовірність 0,39%, а 23 [00010111] має ймовірність 0,39% тощо, якщо скласти всі сімдесят імовірностей 0,39% ви отримуєте 27,3%, що є ймовірністю мати чотири. Ймовірність кожного результату кожного чотирьох-чотирьох не повинна бути вище 0,39%, щоб це працювало.

Розгляньте кубики

Подумайте про те, щоб закатати пару кісток, поширений приклад нерівномірного розподілу. Заради математики, уявіть, що кубики пронумеровані від 0 до 5 замість традиційних 1 до 6. Причина розподілу не рівномірна полягає в тому, що ви дивитеся на суму рулонів з кістки, де кілька комбінацій можуть дати вихід така ж сумарна, як {5, 0}, {0, 5}, {4, 1} і т. д. всі породжують 5.

$6^1$$6^0$$6^0$

Як зазначають і @Sycorax, і @Blacksteel, ця різниця дійсно зводиться до питання порядку.

Кожен вибраний біт не залежить один від одного. Якщо розглянути перший біт, є

• 50% ймовірність, що це буде 1

і

• 50% ймовірність, що це буде 0.

$(\frac{1}{2})^8$$\frac{1}{256}$