Чи є фільтр проти цвітіння?

Bloom фільтр дозволяє ефективно відслідковувати чи вже зустрічалися різні значення в процесі обробки. Коли є багато елементів даних, тоді фільтр Bloom може призвести до значного збереження пам'яті в хеш-таблиці. Головною особливістю фільтра Bloom, який він ділиться з хеш-таблицею, є те, що він завжди говорить "не новий", якщо елемент не новий, але існує ненульова ймовірність того, що елемент буде позначено як "не новий "навіть коли це нове.

Чи є "фільтр" проти цвітіння ", який має протилежну поведінку?

Іншими словами: чи існує ефективна структура даних, яка говорить "нове", якщо елемент є новою, але яка може також сказати "нова" для деяких елементів, які не є новими?

Якщо зберігати всі раніше переглянуті предмети (наприклад, у відсортованому зв'язаному списку), задовольняє першу вимогу, але може використовуватися багато пам'яті. Я сподіваюся, що це також непотрібно, враховуючи невимушену другу вимогу.

Для тих, хто вважає за краще формальне лікування, напишіть $b(x) = 1$ якщо фільтр Bloom вважає, що є новим, іншому випадку, і напишіть якщо дійсно є новим і інакше.b ( x ) = 0 n ( x ) = 1 x n ( x ) = $x$$b(x) = 0$$n(x) = 1$$x$$n(x) = 0$

Тоді ; ; ; , для деяких .P r [ b ( x ) = 0 | n ( x ) = 1 ] = α P r [ b ( x ) = 1 | n ( x ) = 0 ] = 0 P r [ $Pr[b(x) = 0 | n(x) = 0] = 1$$Pr[b(x) = 0 | n(x) = 1] = \alpha$$Pr[b(x) = 1 | n(x) = 0] = 0$0 < α < $Pr[b(x) = 1 | n(x) = 1] = 1 - \alpha$$0 < \alpha < 1$

Я запитую: чи існує ефективна структура даних, реалізуючи функцію з деяким , таким, що ; ; ; ? 0 < β < 1 P r [ b ′ ( x ) = 0 | n ( x ) = 0 ] = β P r [ b ′ ( x ) = 0 | n ( x ) = 1 ] = 0 P r [ b ′ ( x ) = 1 | n ( $b'$$0 < \beta < 1$$Pr[b'(x) = 0 | n(x) = 0] = \beta$$Pr[b'(x) = 0 | n(x) = 1] = 0$$Pr[b'(x) = 1 | n(x) = 0] = 1 - \beta$$Pr[b'(x) = 1 | n(x) = 1] = 1$

Редагувати: Схоже, це питання було задано раніше на StackExchange, як /programming/635728 та /cstheory/6596 з діапазоном відповідей від "не може бути "через" можна зробити, за деяку ціну "до" це тривіально зробити, перевернувши значення ". Мені поки не ясно, що таке "правильна" відповідь. Що це ясно, що схема кешування LRU деякого виду (наприклад, один запропонований Ілмарі Karonen) працює досить добре, легко реалізувати, і призвело до скорочення часу , необхідного для запуску мого коду на 50%.$b$

Виходячи з хеш-ідеї Patrick87, ось практична конструкція, яка майже відповідає вашим вимогам - ймовірність помилкового помилки нового значення для старого не зовсім нульова, але її можна легко зробити незначно малою.

Виберіть параметри і k ; практичні значення можуть бути, скажімо, n = 128 і k = 16 . Нехай H - захищена криптографічна хеш-функція, що виробляє (принаймні) n + k біт виводу.$n$$k$$n = 128$$k = 16$$H$$n+k$

Нехай - масив 2 k n- бітових рядків. Цей масив зберігає стан фільтра, використовуючи загально n 2 k біт. (Не має особливого значення, як ініціалізується цей масив; ми можемо просто заповнити його нулями або випадковими бітами.)$a$$2^k$ $n$$n2^k$

• Щоб додати нове значення до фільтра, обчисліть $x$ , де i позначає перші k біти, а j позначає наступні n біт H ( x ) . Нехай a i = j .$i \,\|\, j = H(x)$$i$$k$$j$$n$$H(x)$$a_{i} = j$

• Щоб перевірити, чи додано у фільтр значення , обчисліть i $x'$ , як зазначено вище, і перевірте, чи a i ′ = j ′ . Якщо так, поверніть істину; інакше повернути помилкове.$i' \,\|\, j' = H(x')$$a_{i'} = j'$

Пункт 1: Імовірність помилкових позитивних (= нове значення помилково стверджував, що було видно) є . Це можна зробити довільно невеликим, за помірних витрат у сховищі, збільшивши n ; Зокрема, для n ≥ 128 ця ймовірність, по суті, незначна, на практиці набагато менша, ніж ймовірність помилкового позитиву через апаратну несправність.$1/2^{n+k}$$n$$n \ge 128$

Зокрема, після того, як різних значень було перевірено та додано до фільтра, ймовірність виникнення принаймні одного помилкового додатника становить ( N 2 - N ) / 2 n + k + 1 . Наприклад, при n = 128 і k = 16 кількість чітких значень, необхідних для отримання помилкового додатного з 50% вірогідністю, становить приблизно 2 ( n + k ) / 2 = 2 72 .$N$$(N^2-N) / 2^{n+k+1}$$n=128$$k=16$$2^{(n+k)/2} = 2^{72}$

Спосіб 2: Імовірність помилкового негативного (= раніше додана величина, помилково заявлена ​​як нова), не перевищує , де N - кількість відокремлених значень, доданих до фільтра (або, точніше, кількість розрізнених значень, доданих після того, як конкретне значення, яке тестується, було останнім часом додане до фільтра).$1-(1-2^{-k})^N \approx 1-\exp(-N/2^k) < N/2^k$$N$

Пс. Для того, щоб поставити "незначно мале" в перспективу, 128-бітове шифрування, як правило, вважається непорушним із відомою в даний час технологією. Отримати помилковий позитив із цієї схеми з само ймовірно, як хтось правильно вгадав ваш секретний 128-розрядний ключ шифрування при першій спробі . (З n = 128 і k = 16 , це насправді приблизно в 65 000 разів менше, ніж це.)$n+k=128$$n=128$$k=16$

Але якщо це все-таки залишає вас відчувати ірраціональну нервозність, ви завжди можете перейти до ; це подвоїть ваші вимоги щодо зберігання, але я з упевненістю можу обмінути вам будь-яку суму, яку б ви хотіли назвати, що ніхто ніколи не побачить помилковий позитив з n = 256 - якщо припустити, що хеш-функція все одно не порушена.$n=256$$n=256$

Ні, неможливо мати ефективну структуру даних з цими властивостями, якщо ви хочете мати гарантію, що структура даних скаже "нове", якщо вона справді нова (вона ніколи не скаже "не нова", якщо насправді це нове, не допускаються помилкові негативи). Будь-яка така структура даних повинна зберігати всі дані, щоб коли-небудь відповідати "не новими". Дивіться відповідь pents90 на cstheory для точного виправдання.

Навпаки, фільтри Bloom можуть отримати гарантію, що структура даних скаже «не нову», якщо вона не нова, ефективно. Зокрема, фільтри Bloom можуть бути ефективнішими, ніж зберігання всіх даних: кожен окремий елемент може бути досить довгим, але розмір фільтра Bloom масштабується з кількістю елементів, а не їх загальною довжиною. Будь-яка структура даних для вашої проблеми повинна масштабуватися із загальною довжиною даних, а не з кількістю даних.

А як щодо просто хеш-таблиці? Коли ви побачите новий елемент, перевірте хеш-таблицю. Якщо місце пункту порожнє, поверніть "нове" та додайте його. В іншому випадку перевірте, чи місце займає предмет. Якщо так, поверніть "не нове". Якщо місце займає якийсь інший предмет, поверніться «новий» і перепишіть місце новим елементом.

Ви обов'язково завжди отримаєте "Нове", якщо раніше ніколи не бачили хеш-позицію товару. Ви, безумовно, завжди отримаєте "Не новий", якщо ви бачили хеш товару лише тоді, коли бачили той самий предмет. Єдиний раз, коли ви отримаєте "Нове", якщо правильна відповідь - "Не нова", це якщо ви бачите пункт А, потім бачите пункт В, потім знову бачите пункт А, і обидва, і А, і Б, мають те ж саме. Що важливо, ви ніколи не можете отримати "Не новий" неправильно.

У випадку, коли Всесвіт предметів є кінцевим, тоді так: просто використовуйте фільтр розквітання, який записує, які елементи знаходяться поза набором, а не в наборі. (Тобто, використовуйте фільтр цвітіння, який представляє доповнення набору, що цікавить.)

Місце, де це корисно, - це допускати обмежену форму видалення. Ви тримаєте два фільтри цвітіння. Вони починаються порожніми. Коли ви вставляєте елементи, ви вставляєте їх у фільтр розквітання А. Якщо пізніше ви хочете видалити елемент, ви вставите цей елемент у фільтр розквітання B. Немає можливості його відновити. Щоб здійснити пошук, ви спочатку шукаєте фільтр цвітіння A. Якщо ви не знайдете відповідності, елемент ніколи не вставляли (з вірогідністю 1). Якщо ви знайдете відповідність, елемент може бути (а може й не бути) вставлений. У цьому випадку ви робите пошук у фільтрі розквітання B. Якщо ви не знайдете відповідності, елемент ніколи не був видалений. Якщо ви знайдете відповідність у фільтрі розквітання B, елемент, ймовірно, було вставлено та видалено.

Це насправді не дає відповіді на ваше запитання, але в цьому обмеженому випадку фільтр Бломіт Б виконує саме таку поведінку, яку ви шукаєте.

Дослідники фільтрів Real Bloom використовують набагато ефективніші способи подання видалення, дивіться на сторінці публікації Майка Міценмахера .

Я просто хочу додати тут, що якщо ви потрапили в удачу ситуацію, то ви знаєте всі цінності $v_i$що ви, можливо, побачите; тоді ви можете використовувати фільтр підрахунку цвітіння.

Прикладом можуть бути ip-адреси, і ви хочете знати щоразу, коли з'являється, що ви ніколи не бачили. Але це все-таки скінченна множина, тож ви знаєте, чого можете очікувати.

Дійсне рішення просте:

1. Додайте всі свої предмети до фільтру підрахунку цвітіння.
2. Коли ви побачите новий елемент, він буде мати значення $\ge1$ у всіх слотах.
3. Побачивши фактично новий елемент, відніміть його з фільтра.

Тож у вас можуть бути значення "помилкових позитивних результатів", які були фактично старими, але визнані новими. Однак ви ніколи не отримаєте «не нове» для нового значення, оскільки його значення все ще буде у всіх слотах, і ніхто інший не міг би це забрати.