Як перебрати вектори в порядку ймовірності в малому просторі

12

Розглянемо розмірного вектора де . Для кожного ми знаємо і припустимо, що є незалежними. Використовуючи ці ймовірності, чи існує ефективний спосіб перебирати бінарні двовимірних векторів, щоб з найбільш ймовірним до найменш вірогідного (з довільним вибором для зв'язків), використовуючи пробіл у підлінійному розмірі? $n$ $v$ $v_i \in \{0,1\}$ $i$ $p_i = P(v_i = 1)$ $v_i$ $n$

Візьмемо для прикладу . Найімовірніший вектор - а найменш вірогідний . $p = \{0.8, 0.3, 0.6\}$ $(1,0,1)$ $\{0,1,0\}$

Для дуже малих ми можемо позначити кожен з векторів його вірогідністю та просто сортувати, але це, звичайно, все ще не використовує підлінійний простір. $n$ $2^n$

Близький варіант цього питання раніше задавали на /cs/24123/how-to-iterate-over-vectors-in-order-of-probability .

ds.algorithms space-bounded

— Лембік
джерело

Чи є якась причина, що ви також не задали подальше запитання? Чи тут головне питання - це робити це в підлінійному просторі?

— Суреш Венкат

@SureshVenkat Так, проблема полягає лише в підлінійному просторі (у вихідному розмірі). Я запитав це тут, оскільки думаю, що питання може бути дуже важким.

— Лембік

Для вирішення цього простору та часу в потрібні методи, схожі на SUBSET-SUM (швидко знаючи, які суми підмножини майже скасовують різні суми). Таким чином, навряд чи буде швидке рішення.

poly (n)

$\textrm{poly}(n)$

— Джеффрі Ірвінг

@GeoffreyIrving Чи вважаєте ви, що цю інтуїцію можна зробити більш формальною?

— Лембік

9

Далі наведено алгоритм, який використовує приблизно час та простір. $2^n$ $2^{n/2}$

Спочатку розглянемо проблему сортування сум усіх підмножин з елементів. $n$

Розглянемо цю підпроблему: у вас є два відсортовані списки довжиною , і ви хочете створити відсортований список парних сум чисел у списках. Ви б хотіли це зробити приблизно в час (розмір виводу), але підлінійний простір. Ми можемо досягти простору. Ми зберігаємо пріоритетну чергу і витягуємо суми з черги пріоритетів у порядку зростання. $m$ $O(m^2)$ $O(m)$

Нехай списки та , відсортовані у порядку зростання. Беремо суми , , і ставимо їх у пріоритетну чергу. $a_1 \ldots a_m$ $b_1 \ldots b_m$ $m$ $a_i + b_1$ $i = 1 \ldots m$

Тепер, коли ми витягуємо найменшу суму, що залишилася , з черги пріоритетів, якщо то ми ставимо суму у чергу пріоритетів. У просторі переважає черга пріоритетів, яка завжди містить не більше сум. І час - , оскільки ми використовуємо для кожної операції черги пріоритету. Це показує, що ми можемо виконати підпроблему в час та простір. $a_i + b_j$ $j < m$ $a_i + b_{j+1}$ $m$ $O(m^2 \log m)$ $O(\log m)$ $O(m^2 \log m)$ $O(m)$

Тепер, щоб сортувати суми всіх підмножин з чисел, ми просто використовуємо цю підпрограму, де список - це набір сум підмножини першої половини елементів, а список - це сукупність підмножини друга половина предметів. Ці списки ми можемо знайти рекурсивно за тим самим алгоритмом. $n$ $a_i$ $b_i$

Зараз ми розглянемо початкову проблему. Нехай - це набір координат, який дорівнює , а - набір координат, який дорівнює . Тоді $S_0$ $0$ $S_1$ $1$

\begin{array}{rcl} \prod_{i \in S_{0}} p (v_{i} = 0) \prod_{i \in S_{1}} p (v_{i} = 1) & = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \prod_{i \in S_{1}} \frac{p (v_{i} = 1)}{p (v_{i} = 0)} \\ = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \exp (\sum_{i \in S_{1}} \log \frac{p (v_{i} = 1)}{p (v_{i} = 0)}) . \end{array}

$\begin{eqnarray*}\prod_{i \in S_0} p(v_i=0) \prod_{i \in S_1} p(v_i=1) &=& \prod_{1\leq i \leq n} p(v_i=0) \prod_{i \in S_1} \frac{p(v_i=1)}{p(v_i=0)} \\ &=& \prod_{1\leq i \leq n} p(v_i=0) \exp\,\left(\sum_{i \in S_1} \log \frac{p(v_i=1)}{p(v_i = 0)}\right).\end{eqnarray*}$

Сортування цих чисел те саме, що сортування чисел , тому ми звели проблему до сортування сум підмножини предметів. $\sum_{i\in S_1}\log p(v_i=1) - \log p(v_i=0)$ $n$

— Петро Шор
джерело

Чи є правдоподібне скорочення, яке зробить рішення про час / простір неправдоподібним?

— Лембік

Ви, мабуть, не збираєтеся отримати рішення, яке займає менше часу, оскільки це розмір виводу (і моє рішення займає час). Однак у мене немає хорошої нижньої межі для простору.

2^{n}

$2^n$

n 2^{n}

$n\, 2^n$

— Пітер Шор

Дякую. Я не мав на увазі полі час звичайно, а скоріше щось лінійне у розмірі виводу та полі просторі.

— Лембік

4

Ми можемо це зробити в просторі (якщо нас не хвилює час роботи). $O(n)$

Для заданої рядки , ми можемо обчислити в просторі число рядків, що є більш імовірним, ніж ; тобто кількість st : просто перейдіть всі і порахуйте кількість st . Зауважимо, що - послідовне число рядка у висновку. $x \in \{0,1\}^n$ $O(n)$ $r(x)$ $x$ $x'$ $p(x') > p(x)$ $x'\in \{0,1\}^n$ $x'$ $p(x') > p(x)$ $r(x)$ $x$
Для кожного ми можемо знайти з у просторі : переходимо всі , для кожного обчислюємо , зупиняємо та виводимо якщо . $k$ $x$ $r(x) = k$ $O(n)$ $x \in \{0,1\}^n$ $x$ $r(x)$ $x$ $r(x) = k$
Тепер просто перейдіть всі від до , для кожного друкуйте з . $k$ $0$ $2^n-1$ $k$ $x$ $r(x) =k$

(Ми також повинні подбати про можливі зв’язки, але це не складно.)

— Юрій
джерело

Дякую. Але це досить повільний алгоритм :)

— Лембік

0

Редагувати: Ця відповідь невірна. Деталі див. У коментарях. ~ гандалітер

Лінійний на виході означає . Я думаю, що очевидний алгоритм використовує лише простір, крім самого виводу, звичайно. $O(2^n)$ $O(n)$

Візьміть список, що містить пари , і відсортуйте його за, найбільший перший. $(i, p_i)$ $\left|0.5 - p_i\right|$
Визначте подвійно рекурсивну функцію, яка приймає список таких пар і частково заповнений вектор , встановлює значення як якщо , інакше, і повторюється (використовуючи хвіст списку, і ), то перевертає і повторюється знову. Якщо список порожній, він виводить . $v$ $v_i$ $1$ $p_i > 0.5$ $0$ $v$ $v_i$ $v$
Викликайте цю рекурсивну функцію за відсортованим списком та порожнім вектором.

Інтуїція полягає в тому, що ви задаєте спочатку значення найбільш певних елементів у векторі (тих, чиї ймовірності найближчі до і ), і заповнюєте вектор так, закінчуючи тими, чиї ймовірності найближчі до . Кожне можливе значення, яке може прийняти весь вектор, виводиться в порядку його ймовірності. $0$ $1$ $0.5$

Час виконання - , що є нижньою межею, тому що це довжина виводу. Складність простору становить оскільки сортування не вимагає більше цього, а рекурсивна довжина - це довжина вектора, яка дорівнює . Я вважаю, що це також нижня межа, оскільки для кожного кроку роботи алгоритму повинен бути різний стан пам'яті, а складність у часі - . Стани в пам'яті потрібні для перерахунку етапів часу . Тому цей алгоритм є найгіршим варіантом складності. $O(2^n)$ $O(n)$ $n$ $O(2^n)$ $O(n)$ $O(2^n)$

— гандалітер
джерело

Інша відповідь, безумовно, інша, оскільки вимагає черги пріоритету, а значить, використовує пробіл .

Θ (2^{n})

$\Theta(2^n)$

— Лембік

Дякую. Я, очевидно, не прочитав її досить уважно! Я відредагував свою відповідь.

— гандалітер

3

Ви впевнені, що це рішення працює? Я не міг розібратися у подробицях подвійної рекурсії (псевдокод допоможе!), Але не бачу, як це могло б працювати. Зокрема, ваше рішення здається локальним: якщо він встановив , тепер вийде відповіді з . Але фактичні відповіді не повинні виглядати так. Насправді, наскільки я зрозумів ваше рішення, воно здається невдалим навіть для найпростішого випадку, коли всі .

v_{1} = 1

$v_1=1$

2^{n - 1}

$2^{n-1}$

v_{1} = 1

$v_1=1$

p_{i} = 0.5

$p_i=0.5$

— mobius dumpling

Ти маєш рацію, це не працює. Вибачте!

— гандалітер