Генератори паралельних псевдовипадкових чисел

Це питання в першу чергу пов'язане з практичною інженерно-технічною проблемою, але мені було б цікаво почути, якби теоретики могли б детальніше зрозуміти її.

Простіше кажучи, у мене є моделювання в Монте-Карло, яке використовує генератор псевдовипадкових чисел, і я хотів би паралелізувати його, щоб паралельно було 1000 комп’ютерів, які виконують одне і те ж моделювання. Тому мені потрібно 1000 незалежних потоків псевдовипадкових чисел.

Чи можемо мати 1000 паралельних потоків із наступними властивостями? Тут $X$ повинен бути дуже відомим і широко вивченим PRNG з усілякими приємними теоретичними та емпіричними властивостями.

1. Потоки є настільки ж хорошими, як і те, що я отримав, якби просто використав $X$ і розділив потік, породжений $X$ на 1000 потоків.

2. Генерація наступного числа в будь-якому потоці (майже) так швидко , як генерації наступного номера з $X$ .

Інакше кажучи: чи можемо ми отримати кілька незалежних потоків "безкоштовно"?

Звичайно, якби ми просто використовували $X$ , завжди відкидаючи 999 чисел і вибираючи 1, ми, безумовно, мали б властивість 1, але ми втратимо час роботи на коефіцієнт 1000.

Проста ідея полягала б у використанні 1000 копій $X$ , із насінням 1, 2, ..., 1000. Це, звичайно, було б швидко, але це не очевидно, якщо потоки мають хороші статистичні властивості.

Після деяких гуглів я виявив, наприклад, таке:

• SPRNG бібліотека , здається, призначена саме для цієї мети, і вона підтримує декілька PRNGs .

• Твістер Mersenne, здається, популярний PRNG в даний час, і я знайшов деякі посилання на варіант, який здатний паралельно виробляти кілька потоків.

Але все це настільки далеко від моїх власних дослідницьких областей, що я не міг зрозуміти, що насправді є найсучаснішим, і які конструкції добре працюють не тільки в теорії, але і на практиці.

Деякі роз’яснення: мені не потрібні якісь криптографічні властивості; це для наукових обчислень. Мені знадобляться мільярди випадкових чисел, щоб ми могли забути будь-який генератор з періодом $< 2^{32}$ .

Редагувати: я не можу використовувати справжній RNG; Мені потрібен детермінований PRNG. По-перше, це дуже допомагає при налагодженні і робить все повторюваним. По-друге, це дозволяє мені, наприклад, робити медіану дуже ефективно, використовуючи той факт, що я можу використовувати багатопрохідну модель (див. Це питання ).

Редагувати 2: Існує тісно пов'язане питання @ StackOverflow: Псевдовипадковий генератор чисел для кластерного середовища .

Ви можете використовувати еволюцію алгоритму Mersenne Twister, розробленого Сайто та Мацумото:

Швидкий Mersenne Twister, орієнтований на SIMD (SFMT)

SFMT - це генератор лінійних зворотних змін (LFSR), який генерує 128-бітове псевдовипадкове ціле число за один крок. SFMT розроблений з останнім паралелізмом сучасних процесорів, таких як багатоступеневий конвеєр та SIMD (наприклад, 128-бітове ціле число). Він підтримує 32-бітні та 64-бітні цілі числа, а також плаваючу крапку з подвійною точністю як вихід. SFMT набагато швидше, ніж MT, на більшості платформ. Вдосконалюються не тільки швидкість, але і розміри рівнорозподілу при точності v-бітів. Крім того, відновлення після початкового стану перевищує 0 швидше. Детально дивіться магістерську дисертацію Муцуо Сайто .

Період коливається від до 2 216091 - $2^{607}-1$$2^{216091}-1$ .

Використання одного і того ж генератора песудових випадкових чисел для генерації декількох незалежних потоків шляхом зміни початкових значень може спричинити проблему (з незначно малою ймовірністю). Щоб уникнути проблеми, краще використовувати різні параметри для кожного покоління. Ця методика називається динамічним створенням параметрів МТ.

У вихідному коді SFMT ви можете знайти деякі приклади наборів параметрів (змінних періодів) та сценарій awk для перетворення CSV-файлу в набір параметрів, що можна компілювати. Існує також інструмент під назвою " Динамічне створення генераторів Mersenne Twister ".

Нещодавно автори розробили ще одну модифіковану версію Mersenne Twister - Mersenne Twister для графічних процесорів - розроблену для роботи в графічних процесорах та використання переваг їх рідних потоків паралельного виконання. Основна особливість - швидкість: випадкових цілих чисел кожні 4,6 м на GeForce GTX 260.$5 \times 10^7$

Періоди генерованої послідовності становлять , 2 23209 - 1 і 2 44497 - 1 для 32-бітної версії, і 2 23209 - 1 , 2 44497 - 1 , 2 110503 - 1 для 64-бітної версії. Він підтримує 128 наборів параметрів для кожного періоду, іншими словами, він може генерувати 128 незалежних псевдовипадкових числових послідовностей для кожного періоду. Ми розробили Dynamic Creator для MTGP, який генерує більше наборів параметрів$2^{11213}-1$$2^{23209}-1$$2^{44497}-1$$2^{23209}-1$$2^{44497}-1$$2^{110503}-1$

Дійсно, вони надають інструмент MTGPDC для створення до наборів параметрів (тобто незалежних потоків).$2^{32}$

Алгоритм проходить основні тести на випадковість, такі як Diehard та NIST.

Попередній документ також доступний на arXiv: Варіант Mersenne Twister, що підходить для графічних процесорів

Здається, існує багато способів вирішити цю проблему, але одним із простих способів було б використання PRNG Blum Blum Shub. Цей PRNG визначається відношенням рецидивування , де N є напівприміром. Щоб отримати випадковий біт з цього ви можете просто взяти бітну паритетність x i . Приємно в цьому, що оскільки x i + k = x 2 k i  mod  N = x 2 k  mod  λ ( N )$x_{i+1} = x_i^2 \mbox{ mod }N$$N$$x_i$$x_{i+k} = x_i^{2^k}\mbox{ mod }N = x_i^{2^k \mbox{ mod } \lambda(N)}\mbox{mod }N$ ви можете безпосередньо обчислити будь-який крок постійної часу в (тобто O ( log ( N ) 3 )) або швидше, залежно від того, який алгоритм множення ви використовуєте для модульного експоненціалу). Таким чином, у вас є машини M , то для машини, індексованої y, ви можете використовувати генератор x i + 1 , y = x 2 M mod  λ ( N ) i  mod  N , де x 0 , y = $k$$O(\log(N)^3)$$M$$y$$x_{i+1,y} = x_i^{2^M \mbox{mod }\lambda(N)}\mbox{ mod }N$, деx0- ваше насіння. Зручно, що це генерує абсолютно той самий потік чисел, як якщо б ви використовували один потік і розподіляли його вихід на кожну з машин по черзі.$x_{0,y} = x_0^{2^y \mbox{ mod }\lambda(N)}\mbox{ mod }N$$x_0$

Це не найшвидший показ PRNG, тому він буде корисний лише в тому випадку, якщо накладні витрати, що ви робите в процесі моделювання, значно перевищують вартість PRNG. Однак варто зазначити, що для певних комбінацій і N буде набагато швидше, ніж інші, особливо якщо двійкове представлення 2 M  mod $M$$N$ містить мало 1s або мало.$2^M \mbox{ mod }\lambda(N)$

Як щодо фази попередньої обробки? З огляду на випадкове насіння (розміром n ), запустіть X, щоб отримати псевдовипадковий потік розміром 1000 n . Позначимо цей потік на s 1 , s 2 , … , s 1000 , де для 1 ≤ i ≤ 1000 , s $s$$n$$X$$1000n$$s_1,s_2,\ldots,s_{1000}$$1\le i \le 1000$$s_i$ - суміжна частина потоку розміром .$n$

Цю фазу попередньої обробки можна здійснити з дуже низькими накладними витратами, враховуючи той факт є ефективним PRNG (сьогодні ми маємо дуже швидкі PRNG).$X$

Тепер давайте як насіння i- й машині, яка використовує X для створення власного псевдослучайного потоку.$s_i$$i$$X$

З огляду на хороші властивості , якщо s не відомо, для будь-яких 1 ≤ i < j ≤ 1000 , насіння s i та s j обчислювально незалежні. Більше того, вам потрібно створити і зберегти лише одне невелике насіння (тобто s ); отже, цей підхід не потребує великої кількості справжньої випадковості чи зберігання.$X$$s$$1 \le i < j \le 1000$$s_i$$s_j$$s$

Ви можете використовувати псевдовипадкову функцію наприклад AES або ChaCha, за допомогою одного випадкового ключа, шифруючи лічильник. Призначте кожному з M = 1000 паралельних процесів унікальне початкове значення в { 0 , 1 , … , M - 1 } , а потім обчисліть j- й випадковий блок біт для процесу i як f ( i + j M ) , тобто з збільшенням лічильник у кожному процесі по M для кожного наступного блоку випадкових бітів.$f$$M = 1000$$\{ 0, 1, \ldots, M - 1 \}$$j$$i$$f(i + jM)$$M$

Це дасть вам криптографічну RNG за кожним процесом, але це не обов'язково приводить до вартості продуктивності. AES швидкий, якщо у вас є обладнання, яке його підтримує, а ChaCha швидкий незалежно. Звичайно, ви хочете виміряти це у ваших конкретних умовах, щоб бути впевненим.

Обидві бажані властивості 1 і 2 цим задовольняються безпосередньо. Крім того, зручніше, що поведінка всієї системи паралельних завдань контролюється одним "насінням" (клавіша для ).$f$

Зараз існує функція стрибка для SFMT (швидка реалізація Mersenne Twister).

Це дозволяє мені ініціалізувати 1000 МТ, щоб не було перекриття циклу. І SFMT повинен бути швидшим, ніж MTGP. Майже ідеально підходить для моїх цілей.

Ви можете просто використовувати 1000 екземплярів Mersenne Twister, ініціалізованих різними насінням.

Ви можете взяти проби насіння з іншого Mersenne Twister або, щоб бути впевненим у своїй незалежності, з генератора криптографічних псевдослучайних чисел ОС (/ dev / urandom в Linux).

Mersenne Twister завжди працює на одній і тій же циклічній послідовності, насіннєвий елемент контролює там, де ви починаєте його генерувати. З незалежно відібраними насінням насіння кожен генератор запускатиметься в різних, як правило, дуже далеких точках, з дуже малою ймовірністю перетину.