Різниця обчислювальної множини між двома великими множинами

У мене є два великих наборів цілих чисел $A$ і $B$ . Кожен набір містить близько мільйона записів, і кожен запис - це натуральне число, яке становить не більше 10 цифр.

Який найкращий алгоритм для обчислення $A\setminus B$ і $B\setminus A$ ? Іншими словами, як я можу ефективно обчислити список записів $A$ , які не є у $B$ і навпаки? Яка найкраща структура даних для представлення цих двох наборів, щоб зробити ці операції ефективними?

Найкращий підхід, який я можу придумати, - це зберігання цих двох наборів у вигляді відсортованих списків та порівняння кожного елемента $A$ проти кожного елемента $B$ , лінійним способом. Чи можемо ми зробити краще?

Якщо ви готові зберігати набори в спеціалізованій структурі даних, то, можливо, ви можете отримати деякі цікаві складності.

Нехай $I=\mathcal O\left(\min\left(|A|,|B|,|A\Delta B|\right)\right)$

Тоді ви можете виконати операції і A Δ B , кожна з яких O ( I ⋅ log | A | + | B $A\cup B, A\cap B,A\setminus B$$A\Delta B$очікуваний час. Отже, по суті, ви отримуєте мінімальний розмір двох наборів, або - розмір симетричної різниці, залежно від того, що менше. Це краще, ніж лінійне, якщо симетрична різниця невелика; тобто. якщо вони мають велике перехрестя. Насправді для двох операцій з різницею множин, які ви хочете, це практично чутливо до виходу, оскільки разом вони складають розмір симетричної різниці.$\mathcal O\left(I\cdot\log\frac{|A|+|B|}{I}\right)$

Додаткову інформацію див. У розділі Налаштовані стійкі набори та карти від Olle Liljenzin (2013).

Лінійне сканування - це найкраще, що я знаю, як зробити, якщо набори представлені у вигляді відсортованих пов'язаних списків. Час роботи - .$O(|A| + |B|)$

Зауважте, що вам не потрібно порівнювати кожен елемент проти кожного елемента B , попарно. Це призвело б до часу виконання O ( $A$$B$ , що значно гірше. Натомість для обчислення симетричної різниці цих двох множин можна використовувати техніку, аналогічну операції "злиття" в об'єднанні, відповідним чином модифіковану для опущення значень, спільних для обох наборів.$O(|A| \times |B|)$

Більш детально, ви можете побудувати рекурсивний алгоритм, як описано нижче для обчислення $A \setminus B$ , припускаючи, що і B представлені як пов'язані списки зі своїми значеннями у відсортованому порядку:$A$$B$

difference(A, B):
    if len(B)=0:
        return A # return the leftover list
    if len(A)=0:
        return B # return the leftover list
    if A[0] < B[0]:
        return [A[0]] + difference(A[1:], B)
    elsif A[0] = B[0]:
        return difference(A[1:], B[1:])  # omit the common element
    else:
        return [B[0]] + difference(A, B[1:])

Я представляв це в псевдо-Python. Якщо ви не читаєте Python, він A[0]є головою пов'язаного списку A, A[1:]є рештою списку і +являє собою конкатенацію списків. З міркувань ефективності, якщо ви працюєте в Python, ви, мабуть, не хотіли б реалізувати його саме так, як вище - наприклад, може бути краще використовувати генератори, щоб уникнути створення багатьох тимчасових списків - але я хотів покажіть ідеї у найпростішій можливій формі. Мета цього псевдокоду - просто проілюструвати алгоритм, а не запропонувати конкретну реалізацію.

Я не думаю, що зробити це краще, якщо ваші набори представлені у вигляді відсортованих списків і ви хочете, щоб результат був наданий у вигляді відсортованого списку. Ви принципово повинні дивитися на кожен елемент і B . Неформальний ескіз обгрунтування: Якщо є якийсь елемент, який ви не переглянули, ви не можете його вивести, тому єдиний випадок, коли ви можете опустити погляд на елемент, це якщо ви знаєте, що він присутній в обох$A$$B$ і в В , але як ви могли знати, що він присутній, якщо ви не подивилися на його значення?$A$$B$

Якщо A і B мають однаковий розмір, роз'єднані та переплетені (наприклад, непарні числа в A і парні числа в B), то порівняння парних елементів у лінійний час, ймовірно, є оптимальним.

Якщо A і B містять блоки елементів, які знаходяться точно в одному з A або B, або в обох з них, можна обчислити різницю множин, об'єднання та перетину в сублінійний час. Наприклад, якщо A і B різняться в точно одному елементі, різницю можна обчислити в O (log n).

http://arxiv.org/abs/1301.3388

один із варіантів полягає у використанні бітвекторів для представлення наборів (де -та позиція представляє наявність або відсутність елемента), а операції типу набору потім зводяться до двійкових операцій, які можна швидко виконувати (і на декількох бітах паралельно) на цифрових комп'ютерах . в цьому випадку A - B = a ∧ ¯ b, де a , b - бітрейктори. відносна ефективність цієї техніки порівняно з іншими методами також залежить від розрідженості. для більш щільних наборів він може бути ефективнішим, ніж інші підходи. також, звичайно, вся операція бентежно паралельна, тому встановлені операції можна робити паралельно.$n$$A-B$$a \wedge \overline b$$a,b$