Обчислення приблизної сукупності фільтра цвітіння

12

Дано фільтр розпускання розміром N-біт і K хеш-функцій, з яких встановлено M-біти (де M <= N) фільтра.

Чи можна наблизити кількість елементів, вставлених у фільтр розпускання?

Простий приклад

Я роздумував над наступним прикладом, припускаючи BF зі 100-бітових та 5 хеш-функцій, де встановлено 10-бітові ...

Найкращий сценарій: якщо припустити, що хеш-функції справді ідеальні та унікально відображають трохи значень X кількості значень, то задані 10-бітові значення можна сказати, що у BF було вставлено лише 2 елементи

Найгірший сценарій: якщо припустити, що хеш-функції погано і послідовно відображаються в одному і тому ж біті (все-таки унікальному між собою), то можна сказати, що 10 елементів було вставлено в BF

Діапазон, здається, є [2,10], де відставання в цьому діапазоні, ймовірно, визначається хибнопозитивною ймовірністю фільтра - я застряг у цій точці.

ds.data-structures pr.probability

— Тандер Куліп
джерело

4

Чому б не зберегти лічильник кількості вставлених елементів? Це займе лише додаткові біти

, якщо ви вставили

елементів.

O (\log n)

$O(\log n)$

n

$n$

— Джо

@Joe, хоча це гарна ідея, але це руйнує справді цікаве питання.

— dan_waterworth

Зауваживши лише, що з дублікатами, метод Джо матиме невелику помилку, оскільки ми завжди не можемо точно сказати при додаванні елемента, чи він вже присутній (і, отже, ми повинні збільшувати кількість чи ні).

— usul

5

Так. З Вікіпедії :

Якщо ви вставили елементи у фільтр розміром за допомогою хеш-функцій, ймовірність того, що певний біт все ще дорівнює 0, дорівнює $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

Ви можете виміряти цю ймовірність як пропорцію 0 біт у вашому фільтрі. Рішення для дає $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

Я використовував це на практиці, і поки ваш фільтр не перевищує його ємність, помилка, як правило, менше 0,1% для фільтрів до мільйонів біт. Оскільки фільтр перевищує його ємність, помилка звичайно збільшується.

— Джей Хакер
джерело

3

Якщо ви припускаєте, що для кожної хеш-функції для кожного об’єкта біт встановлюється рівномірно випадково, і у вас є підрахунок кількості встановлених бітів, ви повинні мати можливість обмежити ймовірність того, що кількість вставлених об'єктів було в певному діапазоні, можливо, використовуючи рецептуру кульок і бункерів. Кожен біт - це бін, і він встановлюється, якщо в ньому є щонайменше 1 куля, кожен вставлений об'єкт кидає куль, де - кількість хеш-функцій, а - кількість кульок, викинутих після того, як було вставлено об’єктів . З огляду на те, що bins має принаймні 1 кульку, яка ймовірність того, що принаймні кульок було кинуто? Я думаю, що тут ви можете використовувати той факт, що: $k$ $k$ $nk$ $n$ $b$ $t$ Але проблема з цією формулюванням полягає в тому, що я не бачу прямого способу обчислити або , але знайти значення яке максимально збільшує цю ймовірність, не повинно бути занадто важким.

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— Джо
джерело

2

Цікаве запитання, давайте розглянемо деякі конкретні випадки.

Нехай будуть клавіші, бітів, бітів усього та елементів вставлено. Спершу спробуємо знайти функцію яка є ймовірністю виникнення стану. $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

Якщо , то повинно бути , тобто це неможливість. $km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

Якщо , то ми шукаємо ймовірність того, що хеші потрапляють в одне відро, то перший можна відзначити , де інші повинні йти. Отже, ми хочемо знайти ймовірність того, що хешів потрапляє у певне відро. $n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

Ось справді прості випадки закінчилися. Якщо то ми хочемо знайти ймовірність того, що омиває землю у різних відрах і щонайменше падіння в кожне. Є пари відер і ймовірність того, що земля хешу в будь-якій конкретній дорівнює $n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ тому ймовірність того, що хеші потраплять до відрів, така: $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

Ми вже знаємо ймовірність того, що вони потраплять у відро, тому давайте віднімемо це, щоб дати ймовірність, що вони потраплять рівно за . $1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

Я думаю, ми можемо це узагальнити зараз.

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

Я не зовсім впевнений, як зробити цю формулу більш прихильною до обчислень. Наївно реалізовано, це призведе до експоненціального часу виконання, хоча тривіально за допомогою запам'ятовування досягти лінійного часу. Тоді це лише випадок знаходження найбільш ймовірного . Мій інстинкт говорить, що буде один пік, тому його можна буде знайти дуже швидко, але наївно, ви можете точно знайти найвірогідніший m в . $m$ $O(n^2)$

— dan_waterworth
джерело

Я думаю, що ваша формула скасовується до

(ігнорування постійних факторів). Ви можете обчислити максимум цього аналітично: розгорніть перший коефіцієнт другого члена і видаліть постійні фактори, щоб позбутися від усіх, і тоді ваша формула стане дуже простою.

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— Жуль

@Jules, чудово, я був впевнений, що щось подібне станеться, але не встиг це зрозуміти.

— dan_waterworth

Ви також можете прийти до цієї формули безпосередньо таким чином:

. Потім підключіть

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

для

.

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— Жуль

2

Припустимо, хеші розподілені рівномірно.

Нехай - кількість вставлених хешей. Так як у нас є хеш в бункера , якщо є хеши в бункера , а наступний хеш переходить в один з тих з бункерів або якщо у нас хеши Into Лари і наступний хеш йде в один з інших бункерів, ми маємо: $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

Переписування:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

Маємо також і коли і коли . Це дає вам алгоритм динамічного програмування для обчислення P. Обчислення що максимізує $P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$ дає максимальну оцінку ймовірності.

Якщо ми знаємо , що ми хешіруемся в цьому цвітіння фільтрувального раз і ми маємо хеш за одиницю, то число елементів є . $i$ $k$ $i/k$

Щоб пришвидшити це, ви можете зробити кілька речей. Коефіцієнт не можна залишати, оскільки це не змінює положення максимуму. Ви можете поділитись таблицями динамічного програмування з кількома викликами нащоб зменшити (асимптотичний) час роботи до. Якщо ви готові вірити, що існує єдиний максимум, ви можете зупинити ітерацію нарано і отримати час роботиде- точка, денабирає максимум, або навіть виконати двійковий пошук і отримати. $\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— Жюль
джерело

2

Ключова ідея - наблизити очікування числа нульового біта.

Для кожного біта можливість нульового значення після t вставки з K хеш-функціями становить: . $(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

Тоді очікування нульових бітових чисел повинно бути:

апроксимація спостереження $N e^{-\frac{Kt}{N}}$ $N - M$

Нарешті ми отримали $t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Янчжун Чжун
джерело

1

Ймовірність того, що певний біт дорівнює 1 після n вставки, становить: P = 1 - (1 - 1 / м) ^ (kn)

Нехай X_i - дискретна випадкова величина, яка дорівнює 1, якщо біт в i-й позиції дорівнює 1, а інакше 0. Нехай X = X_1 + X_2 + .... + X_m. Тоді E [X] = m * P.

Якщо загальна кількість заданих бітів дорівнює S, то: E [X] = S, що означає m * P = S. Це може бути вирішено для n.

— Ніхіл
джерело