Ефективний алгоритм для генерування випадкових двох дифузних, впорядкованих перестановок мультисети

Фон

$\newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\gr$ Припустимо, у мене дві однакові партії з $n$ мармуру. Кожен мармур може бути одним із $c$ кольорів, де $c≤n$ . Нехай $n_i$ позначає кількість мармурів кольору $i$ в кожній партії.

Нехай $\msS$ - мультисетка $\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}$ представляє одну партію. У частотному поданні , $\msS$ також може бути записана в вигляді $(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c})$ .

Кількість чітких перестановок $\msS$ задається мультиномією :

| S_{S} | = (\binom{n}{n_{1}, n_{2}, \dots, n_{c}}) = \frac{n!}{n_{1}! n_{2}! \dots n_{c}!} = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} .

$\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}.$

Питання

Існує чи ефективний алгоритм для генерації два дифузних, несамовитий перестановки $P$ і $Q$ з $\msS$ у випадковому порядку? (Розподіл має бути рівномірним.)

Перестановка $P$ є дифузним , якщо для кожного окремого елемента $i$ з $P$ , екземпляри $i$ рознесені приблизно рівномірно в $P$ .
Наприклад, припустимо, $\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}$ .
- $\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}$ не розсіяні
- $\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}$ розсіяно
Більш суворо:
- Якщо , у є лише один екземпляр щоб «пробіл» , тож нехай . $n_i=1$ $i$ $P$ $\Delta(i)=0$
- В іншому випадку, нехай буде відстань між примірника і примірника з в . Відніміть із нього очікувану відстань між екземплярами , визначивши наступне: Якщо рівномірно розміщений у , то має бути нульовим або дуже близьким до нуля, якщо . $d(i,j)$ $j$ $j+1$ $i$ $P$ $i$ $δ (i, j) = d (i, j) - \frac{n}{n_{i}} Δ (i) = \sum_{j = 1}^{n_{i} - 1} δ (i, j)^{2}$ $\delta(i,j)=d(i,j)-\frac n{n_i}\qquad\qquad\Delta(i)=\sum_{j=1}^{n_i-1} \delta(i,j)^2$ $i$ $P$ $\Delta(i)$ $n_i\nmid n$
Тепер визначимо статистики , щоб визначити , скільки кожен рівномірно рознесені в . Ми називаємо дифузним, якщо близький до нуля, або приблизно . (Можна вибрати поріг характерний для так що дифузно, якщо ) $s(P)=\sum_{i=1}^c\Delta(i)$ $i$ $P$ $P$ $s(P)$ $s(P)\ll n^2$ $k\ll1$ $\msS$ $P$ $s(P)<kn^2$

Це обмеження нагадує більш жорстку проблему планування в режимі реального часу, яку називають проблемою з мультисетом (так що ) та щільністю . Завдання полягає в плануванні циклічної нескінченної послідовності таким чином, щоб будь-яка послідовність довжини містила щонайменше один екземпляр . Іншими словами, здійсненний графік вимагає всіх ; якщо щільна ( ), тоді і . Проблема з шарнірним колесом видається NP-завершеною. $\ms A=n/\msS$ $a_i=n/n_i$ $\rho=\sum_{i=1}^c n_i/n=1$ $P$ $a_i$ $i$ $d(i,j)≤a_i$ $\ms A$ $\rho= 1$ $d(i,j)=a_i$ $s(P)=0$
Дві перестановок і є ненормальними , якщо являє собою психоз з ; тобто для кожного індексу . $P$ $Q$ $P$ $Q$ $P_i ≠ Q_i$ $i\in[n]$
Наприклад, припустимо, . $\msS=(\po^2\;\pt^2)=\{\po,\po,\pt,\pt\}$
- $\{\po, \pt, \po, \pt\}$ і не збиваються з поля $\{\po, \po, \pt, \pt\}$
- $\{\po, \pt, \po, \pt\}$ і знецінені $\{\pt, \po, \pt, \po\}$

Дослідницький аналіз

Мене цікавить сімейство мультисетів з та для . Зокрема, нехай . $n=20$ $n_i=4$ $i\lesssim4$ $\msD=(\gr1^4\,\gr2^4\,\gr3^4\,\gr4^3\,\gr5^2\,\gr6^1\,\gr7^1\,\gr8^1)$

Імовірність того, що два випадкові перестановки і з є ненормальними становить близько 3%. $P$ $Q$ $\msD$

Це можна обчислити так, де - й поліном Лагера: Пояснення тут див . $L_k$ $k$
$\begin{aligned} | D_{D} | & = \int_{0}^{\infty} d t e^{- t} \prod_{i = 1}^{c} L_{n_{i}} (t) = \int_{0}^{\infty} d t e^{- t} (L_{4} (t))^{3} (L_{3} (t)) (L_{2} (t)) (L_{1} (t))^{3} \\ = 4.5 \times 10^{11} \\ | S_{D} | & = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} = \frac{20!}{(4!)^{3} (3!) (2!) (1!)^{3}} = 1.5 \times 10^{13} \\ p & = | D_{D} | / | S_{D} | \approx 0.03 \end{aligned}$ $\begin{align*} \left|{\mathfrak D}_{\msD}\right| &=\int_0^\infty \!\!dt\; e^{-t}\, \prod_{i=1}^c L_{n_i}(t) =\int_0^\infty \!\!dt\; e^{-t}\, \bigl(L_4(t)\bigr)^3\bigl(L_3(t)\bigr)\bigl(L_2(t)\bigr)\bigl(L_1(t)\bigr)^3\\ &=4.5\times10^{11}\\ \left|\mfS_{\msD}\right| &=n!\prod_{i=1}^c \frac1{n_i!} =\frac{20!}{(4!)^3\,(3!)\,(2!)\,(1!)^3} =1.5\times10^{13}\\ p&=\left|{\mathfrak D}_{\msD}\right|/ \left|\mfS_{\msD}\right|\approx0.03\end{align*}$
Імовірність того, що випадкова перестановка з є дифузним становить близько 0,01%, встановивши довільний поріг приблизно . $P$ $\msD$ $s(P)<25$

Нижче наведено емпіричний графік ймовірності 100 000 зразків де - випадкова перестановка . $s(P)$ $P$ $\msD$

При середніх розмірах вибірки, . $s(P)\sim \text{Gamma}(\alpha\approx8,\beta\approx18)$

$\begin{array}{ccl} P & s (P) & cdf (s (P)) \\ {1, 8, 2, 3, 4, 1, 5, 2, 3, 6, 1, 4, 2, 3, 7, 1, 5, 2, 4, 3} & \frac{11}{9} \approx 1 & < 10^{- 5} \\ {8, 2, 3, 4, 1, 6, 5, 2, 3, 4, 1, 7, 1, 2, 3, 5, 4, 1, 2, 3} & \frac{140}{9} \approx 16 & < 10^{- 4} \\ {3, 6, 5, 1, 3, 4, 2, 1, 2, 7, 8, 5, 2, 4, 1, 3, 3, 2, 1, 4} & \frac{650}{9} \approx 72 & 0.05 \\ {3, 1, 3, 4, 8, 2, 2, 1, 1, 5, 3, 3, 2, 6, 4, 4, 2, 1, 7, 5} & \frac{1223}{9} \approx 136 & 0.45 \\ {4, 1, 1, 4, 5, 5, 1, 3, 3, 7, 1, 2, 2, 4, 3, 3, 8, 2, 2, 6} & \frac{1697}{9} \approx 189 & 0.80 \end{array}$ $\begin{array}{ccl}\renewcommand\mfm[1]{\textbf{#1}} \hline P & s(P) & \text{cdf}(s(P)) \\ \hline \{\po, \ss8, \pt, \pth, \pf, \po, \pv, \pt, \pth, \ss6, \po, \pf, \pt, \pth, \ss7, \po, \pv, \pt, \pf, \pth\} & \frac{11}9\approx1\, & <10^{-5} \\ \{\ss8, \pt, \pth, \pf, \po, \ss6, \pv, \pt, \pth, \pf, \po, \ss7, \po, \pt, \pth, \pv, \pf, \po, \pt, \pth\} & \frac{140}9\approx16 & <10^{-4} \\ \{\pth, \ss6, \pv, \po, \pth, \pf, \pt, \po, \pt, \ss7, \ss8, \pv, \pt, \pf, \po, \pth, \pth, \pt, \po, \pf\} & \frac{650}9\approx72 & \phantom{<1}0.05 \\ \{\pth, \po, \pth, \pf, \ss8, \pt, \pt, \po, \po, \pv, \pth, \pth, \pt, \ss6, \pf, \pf, \pt, \po, \ss7, \pv\} & \frac{1223}9\approx136 & \phantom{<1}0.45 \\ \{\pf, \po, \po, \pf, \pv, \pv, \po, \pth, \pth, \ss7, \po, \pt, \pt, \pf, \pth, \pth, \ss8, \pt, \pt, \ss6\} & \frac{1697}9\approx189 & \phantom{<1}0.80 \\ \hline \end{array}$

Ймовірність того, що дві випадкові перестановки є дійсними (як дифузні, так і дифференцировані), становить приблизно . $v\approx(0.03)(0.0001)^2\approx10^{-10}$

Неефективні алгоритми

Поширений алгоритм "швидкого" для створення випадкової дегрунтування набору є на основі відкидання:

do
     P ← випадкова_перестановка ( D )
поки не буде_порядження ( D , P )
повернути Р

яка займає приблизно ітерацій, так як є приблизно можна розлад. Однак рандомізований алгоритм на основі відкидання не буде ефективним для цієї проблеми, оскільки він матиме порядок ітерацій. $e$ $n!/e$ $1/v\approx10^{10}$

В алгоритмі, використовуваному Sage , випадкове дерангування мультисети "формується шляхом вибору випадкового елемента зі списку всіх можливих дерангувань". Але це теж неефективно, оскільки для перерахування є дійсні перестановки , і до того ж, для цього потрібен був би алгоритм. $v\,|\mfS_{\msD}|^2\approx10^{16}$

Подальші питання

У чому полягає складність цієї проблеми? Чи можна її звести до будь-якої звичної парадигми, такої як мережевий потік, забарвлення графіків або лінійне програмування?

— hftf
джерело

Що стосується вашого визначення поняття "пробіл", ви не хочете, щоб для з як дозорці? Тобто один елемент повинен знаходитися посередині, два повинні перегороджувати перестановку на третини тощо.

d (i, j) - n / (n_{i} + 1)

$d(i,j) - n/(n_i + 1)$

0 \leq i \leq j \leq n + 1

$0 \leq i \leq j \leq n+1$

P_{0} = P_{n + 1} = i

$P_0 = P_{n+1} = i$

— Рафаель

Що відбувається, якщо для зла (невеликий, але досить великий); у нас навіть є дифузні перестановки, ніж? Ми, звичайно, не витримуємо змін, щоб знайти двох знедолених! Здається, що жоден елемент не може виникати більше разів.

S = {1^{n - k}, 2^{k}}

$S = \{ 1^{n-k}, 2^k\}$

k

$k$

n / 2

$n/2$

— Рафаель

Яке співвідношення всіх пар впорядкованих перестановок серед усіх пар дифузних перестановок? Аналогічно, з усіх пар бездоганних перестановок, скільки складається з двох дифузних? (Якщо будь-яке співвідношення "високе", ми можемо сконцентрувати зусилля на одній половині процесу, залишивши іншу на відхиленні.)

— Рафаель

@Raphael (# 3а) З 1 мільйона випадкових перестановок , ці 561 дифузні ті мали . пар .

D

$\mathsf D$

s (P) \leq 30

$s(P)\le 30$

6118 / (\binom{561}{2}) = 6118 / 157080 \approx 3.9 %

$6118/\binom{561}{2}=6118/157080\approx3.9\%$

— hftf

@Raphael (# 3b) З 10 мільйонів випадкових пар перестановок 306893 пар були винищені. Тільки 29 з цих пар мали обидві перестановки з . Ось гістограма ( значення ).

D

$\mathsf D$

s (P) \leq 50

$s(P)\le50$

— hftf

Відповіді:

Один із підходів: ви можете звести це до наступної проблеми: Враховуючи булеву формулу , виберіть завдання рівномірно серед усіх задовольняючих завдань . Ця проблема є важкою для NP, але є стандартні алгоритми для генерування який приблизно рівномірно розподілений, запозичуючи методи з #SAT алгоритмів. Наприклад, одна методика полягає в тому, щоб вибрати хеш-функцію , діапазон якої має ретельно обраний розмір (приблизно такий же розмір, як кількість задовольняючих призначень ), вибирати рівномірно випадкове значення з діапазону $\varphi(x)$ $x$ $\varphi(x)$ $x$ $h$ $\varphi$ $y$ $h$ , а потім використовуйте розв'язувач SAT, щоб знайти задовольняюче завдання формулі . Щоб зробити його ефективним, ви можете обрати для розрідженої лінійної карти. $\varphi(x) \land (h(x)=y)$ $h$

Це може бути зйомка блохи з гармати, але якщо у вас немає інших підходів, які здаються працездатними, ви можете спробувати.

— DW
джерело

мені важко слідувати. - булеве значення, а - двійковий рядок (набір двійкових змінних)? тому підсумкове рівняння означає ...?

φ (x)

$\varphi(x)$

h (x)

$h(x)$

— vzn

деяке розширене обговорення / аналіз цієї проблеми розпочалося в чаті cs з подальшим підґрунтям, яке виявило деяку суб'єктивність у складних вимогах проблеми, але не виявило явних помилок чи пропусків. ¹

ось деякий тестований / проаналізований код, який порівняно з іншим рішенням, заснованим на SAT, є відносно "швидким та брудним", але нетривіальним / складним для налагодження. його слабо концептуально заснована на локальній схемі оптимізації псевдовипадкових / жадібних, дещо схожа на наприклад, 2-OPT для TSP . основна ідея полягає в тому, щоб почати з випадкового рішення, яке відповідає деяким обмеженням, а потім заважати локально шукати удосконалення, жадібно шукати вдосконалення та повторювати їх, і закінчувати, коли всі локальні удосконалення вичерпані. критеріями проектування було те, що алгоритм повинен бути максимально ефективним / максимально уникати відхилення.

є деякі дослідження алгоритмів дезорганізації [4], наприклад, які використовуються в SAGE [5], але вони не орієнтовані на багатоскладові.

просте збурення - це лише "заміна" двох положень у кортежах. реалізація в рубіні. далі наведено деякі огляди / примітки із відсиланнями до номерів рядків.

qb2.rb (gist-github)

підхід тут полягає у тому, щоб почати з двох безглуздих кортежів (№ 106), а потім локально / жадібно покращити дисперсію (№ 107), поєднану в концепцію, що називається derangesperse(# 97), зберігаючи збідність. зауважимо, що заміна двох однакових позицій у парі кортежів зберігає розчарування і може покращити дисперсію, і це (частина) дисперсного методу / стратегії.

derangeпідпрограма працює зліва направо на масиві (мультімножество) і свопи з елементами пізніше в масиві , де своп не з тим же елементом (# 10). алгоритм досягає успіху, якщо без подальших замінів у останньому положенні два кортежі все ще знеструмлені (№16).

Існують 3 різні підходи до відшарування початкових кортежів. 2-й кортеж p2завжди перемішують. можна починати з кортежу 1 ( p1), упорядкованого a."найвищими силами 1-го порядку" (# 128), b.перетасованого порядку (№ 127) c.та "найнижчих потужностей 1-го порядку" ("найвищі сили останнього порядку") (# 126).

розпорошення розповсюдження disperseє більш задіяним, але концептуально не таким складним. знову він використовує свопи. а не намагатися оптимізувати дисперсію взагалі над усіма елементами, вона просто намагається ітеративно полегшити поточний гірший випадок. ідея полягає у пошуку ^перших найменш дисперсних елементів, зліва направо. збурення полягає в тому, щоб поміняти лівий або правий елементи ( x, yіндекси) найменш дисперсної пари іншими елементами, але ніколи між парою (що завжди зменшить дисперсію), а також пропустити спробу заміни однаковими елементами ( selectв # 71) . m- середній показник пари (№65).

однак дисперсія вимірюється / оптимізується над обома кортежами в парі (№40), використовуючи дисперсію "найменший / лівий" у кожній парі (№25, №44).

алгоритм намагається поміняти місцями "найдальші" елементи 1- ^го ( sort_by / reverse# 71).

є дві різні стратегії true, falseдля вирішення питання про те, щоб замінити лівий або правий елемент найменш дисперсної пари (№80), або лівий елемент для позиції підміни на лівий / правий елемент на правий бік, або найдальший лівий або правий елемент в дисперсійній парі від елемента swap.

алгоритм закінчується (# 91), коли він більше не може покращити дисперсію (або переміщення найгіршого місця розташування вправо, або збільшення максимальної дисперсії по всій парі кортежів (# 85)).

статистичні дані виводяться для відхилень понад c= 1000 дерангувань за 3 підходи (# 116) та c= 1000 дераншперс (# 97), дивлячись на 2 алгоритми диспергування для розрядженої пари від відхилення (№19, №106). останній відстежує загальну середню дисперсію (після гарантованої деградації). приклад запуску такий

c       0.661000
b       0.824000
a       0.927000
[2.484, 2, 4]
[2.668, 2, 4]

це показує, що a-trueалгоритм дає найкращі результати при ~ 92% відхилення і середньому найгіршому відстані дисперсії ~ 2,6, і гарантованому мінімумі 2 понад 1000 випробувань, тобто щонайменше 1 нерівний елемент, що втручається між усіма парами однакових елементів. він знайшов рішення аж до 3 нерівних втручаються елементів.

алгоритм дерангування є лінійним попереднім відхиленням часу, а алгоритм дисперсії (працює на похилому вході), здається, можливо ~ . $O(n \log n)$

¹ проблема полягає у пошуку домовленостей пакетів quizbowl, які задовольняють так званий "фен-шуй" [1] або "приємне" випадкове впорядкування, де "приємно" є дещо суб'єктивним і ще не "офіційно" кількісно визначеним; автор проблеми проаналізував / звів її до критеріїв "деранш / дисперсія" на основі досліджень спільноти quizbowl та "експертів фен-шуй". [2] існують різні ідеї щодо "правил фен-шуй". Деякі "опубліковані" дослідження були проведені на алгоритмах, але вони з'являються на ранніх стадіях. [3]

[1] Пакет фен-шуй / QBWiki

[2] Пакети Quizbowl та фен-шуй / Ліфшиц

[3] Розміщення питань , форум ресурсних центрів HSQuizbowl

[4] Створення випадкових дерангацій / Мартінес, Панхолцер, Продінгер

[5] Алгоритм відкладання шавлії (пітон) / Мак-Андрю

— взн
джерело

Fyi далі думка, там глюк в дивному режимі, і це не завжди дивно. положення своп може просуватися, не змінюючи нічого. є просте виправлення, щоб правильно перевірити успіх.

— vzn