Алгоритми потоку даних «Розділити та перемогти»

Які корисні алгоритми існують, що працюють на величезних потоках даних, а також їх результати досить малі, і можна обчислити результат для суміші двох потоків, якось об'єднавши їх результати?

Я можу назвати декілька:

• Очевидні речі, такі як сума, min, max, count, top-K тощо.
• Приблизні так звані "ескізні" алгоритми потоку для гістограм, підрахунок окремих елементів або обчислення квантилів

Які там інші?

(Мені цікаво, тому що я пишу проект хобі для моніторингу розподілених систем, корисність яких безпосередньо визначається корисністю таких алгоритмів)

Гуха та ін. '03 наведемо алгоритм наближення для k-серединної кластеризації в потоковій моделі. Їх алгоритм ділить дані на розрізнені фрагменти, знаходить O (k) центри для кожної неперервної частини, а потім об'єднує результати для отримання k центрів. Здається, це тип алгоритму, який ви шукаєте.

$\varepsilon$$\varepsilon$$i^{\text{th}}$$(i-1)^{\text{th}}$-рівень-потік, а рівень 0 - початковий потік). Це, по суті, надання стратегії "поділ і перемога" знизу вгору. з оновленнями вздовж "краю" дерева рекурсії. За структурою він дуже схожий на папір Гуха та ін, згаданий Левом.

Я знайшов документ ( "Розподіл частотно-залежних обчислень потоку даних" ), в якому сказано, що кожна функція розподілу частоти потоку є об'єднаною (хоча це не дає явної та ефективної побудови для операції злиття). І доказ здається дуже цікавим, включаючи деяку теорію кільця. Потрібно прочитати попередній документ того ж автора ( "Нижні межі щодо частотної оцінки потоків даних" ), основний результат якого використовується як основа для цього.

Це нагадує мені теорему третього гомоморфізму ...

Дослідження мов запитів безперервного потоку можуть дати деяке розуміння. Однією з таких мов є CQL , яку, на мою думку, приймає Oracle. Мови дозволяють обчислювати функції за розсувними вікнами потоку (включаючи вікна розміром 1). Ця дисертація бакалавра дає нещодавній огляд мови, включаючи деякі приклади. У цій роботі подано огляд деяких мов потокової обробки, які повинні бути корисні для пошуку посилань на інші пов'язані дослідження.

Я знаю, що це не відповідає безпосередньо на ваше запитання, але це повинно зв’язати вас з дослідженнями, проведеними людьми, що відходять з тієї ж відправної точки.

Це питання мені здається трохи круговим. Якщо проблема має властивість, яку ви хочете, тоді існує алгоритм, заснований на ескізі та злитті. Як було сказано вище, існує робота над кластеризацією, наближеннями та основними наборами, які забезпечують це. Крім того, більшість алгоритмів потокової передачі дозволяють об'єднувати потоки шляхом простого (концептуальної) сполучення одного потоку з іншим.

Крім того, я не впевнений, що алгоритми потокового потоку k є об'єднаними - але я можу помилятися.

Вибачте, що не дотримуєтеся цього, але я подумав, що ви, можливо, захочете ознайомитись з деякою роботою над розподіленим безперервним моніторингом потоків, де вам надано кілька потоків, а мета - відстежувати деяку сукупну статистику на центральному сайті моніторингу, мінімізуючи зв’язок. Модель мені звучить, тісно пов'язана з вашою мотивацією. Подивіться на посилання в книзі Муту . Один документ це .

Папір Гангулі теж дуже цікавий.