Я даю вам список з $n$ бітвекторів шириною $k$ . Ваша мета - повернути двох бітвекторів зі списку, які не мають спільного 1, або ж повідомити про відсутність такої пари.

Наприклад, якщо я даю вам $[00110, 01100, 11000]$ єдине рішення - $\{00110, 11000\}$ . Як варіант, вхід $[111, 011, 110, 101]$ не має рішення. І будь-який список, який містить повністю нульовий бітвектор $000...0$ та інший елемент $e$ має тривіальне рішення $\{e, 000...0\}$ .

Ось дещо складніший приклад, без рішення (кожен рядок є трохи векторним, чорні квадрати - 1s, а білі - 0s):

■ ■ ■ ■ □ □ □ □ □ □ □ □ □
■ □ □ □ ■ ■ ■ □ □ □ □ □ □ 
■ □ □ □ □ □ □ ■ ■ ■ □ □ □
■ □ □ □ □ □ □ □ □ □ ■ ■ ■
□ ■ □ □ □ ■ □ □ □ ■ ■ □ □
□ ■ □ □ ■ □ □ □ ■ □ □ □ ■
□ ■ □ □ □ □ ■ ■ □ □ □ ■ □ <-- All row pairs share a black square
□ □ ■ □ □ □ ■ □ ■ □ ■ □ □
□ □ ■ □ □ ■ □ ■ □ □ □ □ ■
□ □ ■ □ ■ □ □ □ □ ■ □ ■ □
□ □ □ ■ ■ □ □ ■ □ □ ■ □ □
□ □ □ ■ □ □ ■ □ □ ■ □ □ ■
□ □ □ ■ □ ■ □ □ ■ □ □ ■ □

Наскільки ефективно можна знайти два бітректори, що не перекриваються, або показати, що вони не існують?

Наївний алгоритм, де ви просто порівнюєте кожну можливу пару, є $O(n^2 k)$ . Чи можна зробити краще?

Розминка: випадкові бітректори

Як розминка, ми можемо почати з того випадку, коли кожен бітвектор вибирається в однаковому порядку рівномірно. Тоді виявляється, що задачу можна вирішити за час (точніше, 1,6 можна замінити на lg 3 ).$O(n^{1.6} \min(k, \lg n))$$1.6$$\lg 3$

Ми розглянемо наступний двоскладовий варіант проблеми:

З урахуванням безлічі з бітвекторов, визначити , де існує неперекривающійся пари сек ∈ S , T ∈ T .$S,T \subseteq \{0,1\}^k$$s \in S, t \in T$

Основний прийом для вирішення цього питання - розділити і перемогти. Ось алгоритм часу використанням ділення та перемоги:$O(n^{1.6} k)$

1. Розділити і T на основі першого положення біта. Іншими словами, форма S 0 = { s ∈ S : s 0 = 0 } , S 1 = { s ∈ S : s 0 = 1 } , T 0 = { t ∈ T : t 0 = 0 } , T 1 = { t ∈ T : $S$$T$$S_0 = \{s \in S : s_0=0\}$$S_1 = \{s \in S : s_0 = 1\}$$T_0 = \{t \in T : t_0 = 0\}$ .$T_1 = \{t \in T : t_0 = 1\}$

2. Тепер рекурсивно шукайте пару, що не перекривається, від , від S 0 , T 1 і від T 1 , S 0 . Якщо будь-який рекурсивний виклик знайде пару, що не перекривається, виведіть його, інакше виведіть "Немає пари, що перекривається".$S_0,T_0$$S_0,T_1$$T_1,S_0$

Оскільки всі бітвектори вибираються випадковим чином, ми можемо очікувати та | Т б | ≈ | Т | / 2 . Таким чином, у нас є три рекурсивні дзвінки, і ми зменшили розмір проблеми в два рази (обидва набори зменшуються в розмірі в два рази). Після розбиття lg min ( | S | , | T | ) одна з двох множин зменшується до розміру 1, і проблему можна вирішити за лінійним часом. Ми отримуємо відношення рецидиву за лініями$|S_b| \approx |S|/2$$|T_b| \approx |T|/2$$\lg \min(|S|,|T|)$ , рішення якого T ( n ) = O ( n 1,6 k ) . Точніше, враховуючи час роботи у двоскладному випадку, ми бачимо, що час виконання - O ( хв ( | S | , | T | ) 0,6 макс. ( | S | , |$T(n) = 3T(n/2) + O(nk)$$T(n) = O(n^{1.6} k)$ .$O(\min(|S|,|T|)^{0.6} \max(|S|,|T|) k)$

Це можна вдосконалити, зазначивши, що якщо , то ймовірність існування пари, що не перекривається, експоненціально мала. Зокрема, якщо х , у двох випадкових векторів, ймовірність того, що вони не перекриваються є ( 3 / 4 ) K . Якщо | S | = | Т | = n , є n 2 таких пар, тому при зв'язанні об'єднанням ймовірність існування пари, що не перекривається, становить щонайбільше n 2 ( $k \ge 2.5\lg n+100$$x,y$$(3/4)^k$$|S|=|T|=n$$n^2$ . Коли до ≥ 2,5 Л.Г. п + 100 , це ≤ 1 / 2 100 . Отже, як крок перед обробкою, якщо k ≥ 2,5 lg n + 100 , ми можемо негайно повернути "Не існує пари, що не перекривається," (ймовірність, що це неправильно, незначно мала), інакше ми запустимо вищевказаний алгоритм.$n^2 (3/4)^k$$k \ge 2.5 \lg n+100$$\le 1/2^{100}$$k \ge 2.5 \lg n + 100$

Таким чином , ми досягаємо час роботи (або O ( хв ( | S | , | Т | ) 0,6 Макс ( | S | , | Т | ) хв ( K , Lg п ) ) для двох заданих варіантів, запропонованих вище), для особливого випадку, коли біттектори вибираються рівномірно випадково.$O(n^{1.6} \min(k, \lg n))$$O(\min(|S|,|T|)^{0.6} \max(|S|,|T|) \min(k, \lg n))$

Звичайно, це не найгірший аналіз. Випадкові bitvectors значно простіше, ніж найгірший випадок - але давайте розглянемо це як розминку, щоб отримати деякі ідеї, які, можливо, ми можемо застосувати до загального випадку.

Уроки розминки

Ми можемо засвоїти кілька уроків з розминки вище. По-перше, корисним є поділ і перемогу (розкол на бітову позицію). По-друге, ви хочете розділити на бітову позицію якомога більше -х у цій позиції; чим більше їх у 0 , тим менше зменшення розміру підпроблеми.$1$$0$

По-третє, це говорить про те, що проблема стає все складніше, коли щільність s зменшується - якщо серед бітвекторів дуже мало 1 -х (вони в основному 0 '), проблема виглядає досить важко, оскільки кожен розкол зменшується розмір підпроблем небагато. Отже, визначте, що щільність Δ є часткою бітів, що дорівнює 1 (тобто, з усіх n k біт), а щільність бітового положення i - частка бітвекторів, що є 1 у положенні i .$1$$1$$0$$\Delta$$1$$nk$$i$$1$$i$

Поводження з дуже низькою щільністю

На наступному кроці ми можемо задатися питанням, що станеться, якщо щільність надзвичайно мала. Виявляється, якщо щільність у кожному бітовому положенні менша за , ми гарантуємо, що існує пара, що не перекривається: є аргумент існування (неконструктивний), який показує, що повинна існувати якась пара, що не перекривається. Це не допомагає нам його знайти, але, принаймні, ми знаємо, що воно існує.$1/\sqrt{k}$

Чому це так? Скажімо , що пара бітвекторов буде покрита на бітової позиції я , якщо х я = у я = 1 . Зверніть увагу, що кожна пара бітректорів, що перекриваються, повинна бути охоплена деяким положенням бітів. Тепер, якщо ми зафіксуємо конкретне бітове положення i , кількість пар, які можуть бути охоплені цим бітовим положенням, становить щонайбільше ( n Δ ( i ) ) 2 < n 2 / k . Підведення підсумків по всіх $x,y$$i$$x_i=y_i=1$$i$$(n \Delta(i))^2 < n^2/k$$k$з бітових позицій ми знаходимо, що загальна кількість пар, охоплених деяким бітовим положенням, становить . Це означає, що повинна існувати пара, яка не охоплена жодною бітовою позицією, що означає, що ця пара не перекривається. Отже, якщо щільність є достатньо низькою у кожному бітовому положенні, то, безумовно, існує пара.$< n^2$

Однак я в збитті визначити швидкий алгоритм пошуку такої пари, що не перекривається, в цьому режимі, навіть якщо такий гарантовано існує. Я не одразу бачу жодної техніки, яка б дала час роботи, що має субквадратичну залежність від . Отож, це приємний особливий випадок, на який слід зосередитися, якщо ви хочете витратити якийсь час на роздуми над цією проблемою.$n$

До алгоритму загального випадку

У загальному випадку, схоже, природний евристичний виглядає так: виберіть бітове положення з найбільшою кількістю 1 's (тобто з найбільшою щільністю), і розділіть його. Іншими словами:$i$$1$

1. Знайдіть бітове положення яке максимізує Δ ( i ) .$i$$\Delta(i)$

2. Розщеплення і T на основі бітового положення i . Іншими словами, форма S 0 = { s ∈ S : s i = 0 } , S 1 = { s ∈ S : s i = 1 } , T 0 = { t ∈ T : t i = 0 } , T 1 = { t ∈ T $S$$T$$i$$S_0 = \{s \in S : s_i=0\}$$S_1 = \{s \in S : s_i = 1\}$$T_0 = \{t \in T : t_i = 0\}$ .$T_1 = \{t \in T : t_i = 1\}$

3. Тепер рекурсивно шукайте пару, що не перекривається, від , від S 0 , T 1 і від T 1 , S 0 . Якщо будь-який рекурсивний виклик знайде пару, що не перекривається, виведіть його, інакше виведіть "Немає пари, що перекривається".$S_0,T_0$$S_0,T_1$$T_1,S_0$

Завдання полягає в аналізі його ефективності в гіршому випадку.

Припустимо, що в якості етапу попередньої обробки спочатку обчислюємо щільність кожної бітової позиції. Також, якщо для кожногоi, припустимо, що етап попередньої обробки виводить "Пара, що перекривається, існує" (я розумію, що це не є прикладом пари, що перекривається, але давайте відкладемо це як окремий виклик). Все це можна зробити заO(nk)час. Інформацію про щільність можна ефективно підтримувати, коли ми робимо рекурсивні дзвінки; це не буде домінуючим фактором часу роботи.$\Delta(i) < 1/\sqrt{k}$$i$$O(nk)$

Яким буде час роботи цієї процедури? Я не впевнений, але ось кілька спостережень, які можуть допомогти. Кожен рівень рекурсії зменшує розмір проблеми приблизно на bitvectors (наприклад, відnbitvectors доn-n/$n/\sqrt{k}$$n$ bitvectors). Тому рекурсія може тривати лише$n-n/\sqrt{k}$ рівні глибокі. Однак я не одразу впевнений, як підрахувати кількість листя в дереві рекурсії (їх набагато менше3$\sqrt{k}$ відходить), тому я не впевнений, до якого часу роботи це повинно призвести.$3^{\sqrt{k}}$

Швидше рішення, коли , використовуючи матричне множення$n \approx k$

Припустимо, що . Наша мета - зробити краще, ніж час роботи O ( n 2 k ) = O ( n 3 ) .$n = k$$O(n^2k) = O(n^3)$

Ми можемо вважати біттектори та бітові позиції як вузли на графіку. Між вузлом біттерактора і вузлом бітового положення є край, коли бітвектор має в цьому положенні 1. Отриманий графік є двостороннім (з вузлами, що представляють бітвектор, з одного боку та вузлами, що представляють бітопозицію, з іншого), і має вузлів.$n + k = 2n$

Враховуючи матрицю суміжності графа, ми можемо сказати, чи існує шлях між двома вершинами двоступеневим шляхом, порівнюючи M і перевіряючи, чи є в отриманій матриці "край" між цими двома вершинами (тобто введення краю в матрицю квадрата дорівнює нулю). Для наших цілей нульовий запис у матриці суміжності у квадраті відповідає парі бітвекторів, що не перекриваються (тобто рішення). Відсутність нулів означає, що рішення немає.$M$ $M$

Квадратування матриці nxn може бути виконано за час , де ω, як відомо, знаходиться під 2.373, а передбачається, що це 2 .$O(n^\omega)$$\omega$$2.373$$2$

Отже алгоритм:

• Перетворіть бітвектори та бітові позиції у двосторонній графік з вузлами та не більше n k ребрами. Це займає час O ( n k ) .$n+k$$nk$$O(nk)$
• Обчисліть матрицю суміжності графіка. Це займає час і простір.$O((n+k)^2)$
• Квадрат матриці суміжності. Це займає час .$O((n+k)^\omega)$
• Шукайте в розділі бітвектора матриці суміжності нульові записи. Це займає час .$O(n^2)$

Найдорожчим етапом є зіставлення матриці суміжності. Якщо то загальний алгоритм займає час O ( ( n + k ) ω ) = O ( n ω ) , що краще, ніж наївний O ( n 3 ) час.$n=k$$O((n+k)^\omega) = O(n^\omega)$$O(n^3)$

Це рішення також швидше, коли зростає не надто-значно-повільніше і не-надто-швидше, ніж n . Доки k ∈ Ω ( n ω - 2 ) і k ∈ O ( n $k$$n$$k \in \Omega(n^{\omega-2})$, тоді(n+k)ωкращеn2k. Дляw≈2,337,що означаєn0,731≤k≤n1,337(асимптотично). Якщоwобмежується до 2, то межі розширюються доnϵ≤k≤n2-ϵ.$k \in O(n^\frac{2}{\omega-1})$$(n+k)^\omega$$n^2 k$$w \approx 2.373$$n^{0.731} \leq k \leq n^{1.373}$$w$$n^\epsilon \leq k \leq n^{2-\epsilon}$

This is equivalent to finding a bit vector which is a subset of the complement of another vector; ie its 1's occur only where 0's occur in the other.

If k (or the number of 1's) is small, you can get $O(n2^k)$ time by simply generating all the subsets of the complement of each bitvector and putting them in a trie (using backtracking). If a bitvector is found in the trie (we can check each before complement-subset insertion) then we have a non-overlapping pair.

If the number of 1's or 0's is bounded to an even lower number than k, then the exponent can be replaced by that. The subset-indexing can be on either each vector or its complement, so long as probing uses the opposite.

$o(k)$$o(2^k)$ searches.

Represent the bit vectors as an $n\times k$ matrix $M$. Take $i$ and $j$ between 1 and $n$.

$(MM^T)_{ij}$, the dot product of the $i$th and $j$th vector, is non-zero if, and only if, vectors $i$ and $j$ share a common 1. So, to find a solution, compute $MM^T$ and return the position of a zero entry, if such an entry exists.

Complexity

Using naive multiplication, this requires $O(n^2k)$ arithmetic operations. If $n=k$, it takes $O(n^{2.37})$ operations using the utterly impractical Coppersmith-Winograd algorithm, or $O(n^{2.8})$ using the Strassen algorithm. If $k=O(n^{0.302})$, then the problem may be solved using $n^{2 + o(1)}$ operations.