Чи є вибіркою відхилення єдиний спосіб отримати справді рівномірний розподіл випадкових чисел?

Припустимо, у нас є випадковий генератор, який виводить числа в діапазоні $[0..R-1]$ при рівномірному розподілі, і нам потрібно генерувати випадкові числа в діапазоні $[0..N-1]$ при рівномірному розподілі.

Припустимо, що $N < R$ і $N$ не поділяють рівномірно $R$ ; для отримання по- справжньому рівномірного розподілу ми можемо використовувати метод вибірки відхилення :

• якщо $k$ - найбільше ціле число, таке, що $k N < R$
• виберіть випадкове число $r$ у $[0..R-1]$
• якщо $r < k N$ тоді виведіть , інакше продовжуйте намагатися з іншими випадковими числами r ', r ", ..., поки умова не буде виконана$r \mod N$

Чи є вибірка відхилення єдиним способом отримати справді рівномірний дискретний розподіл?

Якщо відповідь "так", то чому?

Примітка: якщо ідея однакова: випадкове число в , наприклад , де випадкове число в діапазоні$N > R$$r'$$[0..R^m-1], R^m >= N$$r' = R(...R(R r_1 + r_2)...)+r_m$$r_i$$[0..R-1]$

Так і ні, залежно від того, що ви маєте на увазі під "єдиним способом". Так, оскільки не існує методу, який гарантовано припинить, найкраще, що ви можете зробити (для загальних значень і ) - це алгоритм, який закінчується з вірогідністю 1. Ні. Це означає, що ви можете зробити "відходи" як малі як тобі до вподоби.$N$$R$

Чому гарантоване припинення взагалі неможливо

Припустимо, у вас є детермінований двигун обчислень (машина Тюрінга або що-небудь плаває на вашому човні), плюс оракул, який генерує випадкові елементи набору елементів . Ваша мета полягає в тому, щоб сформувати елемент - елементного безлічі . Вихід вашого двигуна залежить лише від послідовності значень, повернутих оракулом; це функція цієї потенційно нескінченної послідовності .[ 0 .. R - 1 ] N [ 0 , N - 1 ] f ( r 0 , r 1 , r 2 , … $R$$[0..R-1]$$N$$[0,N-1]$$f$$(r_0, r_1, r_2, \ldots)$

Припустимо, ваш двигун дзвонить у оракул щонайбільше разів. Можуть бути сліди, за якими оракул називається менше разів; якщо так, виклик Oracle додаткові рази, щоб він завжди називався саме разів, не змінює вихід. Отже, не втрачаючи загальності, ми припускаємо, що оракул називається рівно разів. Тоді ймовірність результату - це кількість послідовностей така, що . Оскільки оракул є рівномірним випадковим генератором, кожна послідовність є однозначною і має ймовірність . Отже, ймовірність кожного результату має формуm m m x ( r 0 , … , r m - 1 ) f ( r 0 , … , r m - 1 ) = x 1 / R m A / R m A 0 R $m$$m$$m$$m$$x$$(r_0, \ldots, r_{m-1})$$f(r_0, \ldots, r_{m-1}) = x$$1/R^m$$A/R^m$де - ціле число між і .$A$$0$$R^m$

Якщо ділить на деякий , то ви можете створити рівномірний розподіл по елементах, викликаючи випадковий генератор разів (це залишено читачем як вправу). В іншому випадку, це неможливо: немає ніякого способу , щоб отримати результат з імовірністю . Зауважте, що умова еквівалентна тому, що всі основні фактори також є факторами (це більш дозволено, ніж те, що ви написали у своєму запитанні; наприклад, ви можете вибрати випадковий елемент серед 4 із 6-сторонній ярмарком вмирають, хоча 4 не ділить 6).R m m N m 1 / N N $N$$R^m$$m$$N$$m$$1/N$$N$$R$

Зменшення відходів

У своїй стратегії, коли , вам не доведеться відразу малювати. Інтуїтивно, в залишилось трохи ентропії, яку ви можете зберегти в суміші.[ $r \ge k\,N$$[k\,N .. R-1]$

Припустимо на хвилину , що ви насправді тримати генерації випадкових чисел нижче назавжди, і ви генерувати з них в той час, роблячи розіграшів. Якщо ви робите прямий відбір проб відхилення для цього згрупованого покоління, відходи над притягує , тобто залишок ділиться на кількість нічиїх. Це може бути не менше . Коли і є спільними, ви можете зробити відходи довільно невеликими, вибравши досить великі значення . Для загальних значень іу д д Р д - $N$$u$$d$$d$$\dfrac{R^d - k\,N^u}{d}$$R^d \mathbin{\mathrm{mod}} N^u$$\gcd(R,N)$$R$$N$$d$$R$$N$, розрахунок складніший, оскільки потрібно враховувати генерацію та , але знову ж таки ви можете зробити відходи довільно невеликими з досить великими групами.$\gcd(R,N)$$N/\gcd(R,N)$

На практиці, навіть при відносно неефективних випадкових числах (наприклад, у криптографії), рідко варто робити що-небудь, крім простого відбору відхилення, якщо тільки невеликий. Наприклад, у криптографії, де зазвичай є потужністю 2, а зазвичай становить сотні чи тисячі біт, рівномірне генерування випадкових чисел зазвичай відбувається шляхом прямої вибірки відхилення в потрібному діапазоні.$N$$R$$N$

Теорема кодування джерела Шеннона показує, що в певному сенсі вам потрібно зразків (в середньому) типу щоб генерувати випадкове число типу . Точніше, Шеннон дає (неефективний) алгоритм, який дає вибірки першого типу, виводить зразки другого типу з високою ймовірністю. Він також показує, що вивести зразки з високою ймовірністю неможливо.$\log N/\log R$$[0,\ldots,R-1]$$[0,\ldots,N-1]$$m$$m(\log N/\log R - \epsilon)$$m(\log N/\log R + \epsilon)$

Теорема Шеннона також працює в більш загальному випадку косого розподілу вхідних даних (і, ймовірно, також косого розподілу виходу). У такому випадку потрібно замінити логарифм на ентропію. У той час як алгоритм, заданий теоремою, визначений випадковим чином, в деяких випадках можливо дерандомізувати його (ціною дещо гіршої продуктивності).

Насправді ні, вибірка відхилень далеко не єдиний спосіб протікати. На жаль, враховуючи, що комп'ютери зберігають усю інформацію у вигляді бітів, і, таким чином, можуть лише маніпулювати випадковими бітами інформації, будь-який алгоритм складання рівномірної випадкової величини діапазону буде нескінченним, якщо розвиток бінарної бази є нескінченним.$N$$N$

Ця теорема є класичним результатом Кнут та Яо (1976), які розробили рамки дерев DDG (дискретний розподіл генеруючих дерев).

Методи, піддані Жиллю, - це типова річ, яка робилася для зменшення відходів, спричинених відхиленням, але, звичайно, якщо можна генерувати сліди за деревами Кнут та Яо, це набагато, набагато ефективніше - в середньому 96% випадкових біт зберігаються.

Більше інформації про це я надав у наступному пості CStheory .