Знайдіть близькі пари у дуже великому просторі з розрідженими векторами

Я маю $N$(~ мільйон) функціональних векторів. Існує$M$ (~ мільйон) двійкових функцій, але лише в кожному векторі $K$ (~ тисяча) з них було б $1$, решта є $0$. Я шукаю пари векторів, які мають хоча б$L$ (~ сотня) спільних ознак ($1$в обох). Кількість таких пар має аналогічну величину$N$ (~ мільйон).

Я думаю, що до цього можна підійти, як шукати пари близьких точок у дуже великому просторі. Функція відстані може бути такою, що базується на тому, скільки функцій мають два вектори. Але це, мабуть, було б корисно і з більш звичайною метрикою відстані (наприклад, евклідовою).

Які відомі алгоритми були б корисні для вирішення цієї проблеми? Все, що є квадратним$N$ або $M$ не буде практичним.

Розглянемо приклад постановки проблеми в реальному світі $N$люди, що пересуваються між різними місцями. Якщо двоє людей були в одній і тій же місцевості одночасно, ми говоримо, що вони зустрілися один з одним. (Кількість комбінацій місце-час із присутньою щонайменше однією людиною є$M$.) Ми шукаємо друзів: людей, які зустрічалися хоча б $L$ разів.

Схоже, що підхід, який ви шукаєте, - це комбінація підписів на міні-шах та чутливості до локальності (LSH); (у вільному доступі) pdf Майнінг масивних наборів даних детально описує цей підхід (та інші заходи подібності) у Розділі 3, але коротко:

Minhash підпис є згущене уявлення вихідної матриці , яка будується із застосуванням деякого числа п хеш - функцій до функцій, зменшуючи тим самим кількість функцій в спостереженні. Це зменшує розмір ваших даних, однак ви, мабуть, помітите, що це все ще залишає вас$O(N^2)$ проблема.

Щоб вирішити це, MMDS радить, що якщо все, що ви хочете знайти, це пари, що перевищують певний поріг подібності (який, здавалося б, застосовується у вашому випадку), то ви можете зосередитись лише на тих парах, які, швидше за все, схожі - такий підхід називається Locality Sensitive Hashing , і в розділі 3.4 вони проходять приклад того, як поєднати підхід підпису minhash з LSH.

Окрім тексту, є також лекції з однойменного курсу Coursera .

Я шукаю пари векторів, які мають хоча б $L$ спільні риси.

Це лише внутрішній продукт бінарних функціональних векторів. Коли внутрішній виріб більший за$L-1$, у пари буде як мінімум $L$спільні елементи. Це повинно бути порівняно швидким обчисленням - принаймні, швидшим, ніж евклідова відстань, що було б марно і повільно для цих даних. Оскільки ви заявляєте, що шукаєте пари, це по суті означає, що вам доведеться робити обчислення для порівняння кожного вектора.$\binom{N}{2}$

Пошук точок, які є близько один до одного, справді є проблемою кластеризації. Але перший крок алгоритмів кластеризації, який я знайомий, - це обчислення парних відстаней або подібності. Я впевнений, що хтось розробив більш ефективні альтернативи. Суть про термінологію: наявність принаймні спільних сусідів виражається як подібність , а не відстань! Внутрішні продукти - це в цьому випадку ненормалізовані косинусні подібності.$L$

Це можна зробити більш простежуючим, виконавши лише обчислення внутрішнього продукту, коли сума векторного ознаки (що в даному випадку така ж, як норма) для спостереження більша за , оскільки неможливо для цього бінарного вектора ознак мати внутрішній продукт з іншим бінарним вектором ознак , який буде задовольняти мій критерій , коли ця сума менше , ніж . Очевидно, що обчислення цих сум є лише складною , тому я - дешевий спосіб зменшити масштабність внутрішнього кроку продукту.$L-1$$L$$O(N)$

Але класичним способом зменшити масштаб цієї проблеми є додаткова попередня фільтрація. Вас особливо цікавить, коли одна, дещо незвична функція приймає значення 1? Якщо так, виконайте обчислення лише для цих функціональних векторів.

Або, можливо, ви могли б отримати користь від переоформлення своєї проблеми. Наприклад, як відомо, відбір проб має приємні властивості; Інфекційна статистика розвивається на цій ідеї досить глибоко. Тому, можливо, неможливо проаналізувати весь набір даних, але цілком здійсненно вивчити невеликий зразок. Я не знаю, на яке питання ви намагаєтесь відповісти, але якщо ви ретельно спроектували свій експеримент, ви можете уникнути, лише подивившись на кілька тисяч спостережень, а для перевірки залишилось більше ніж достатньо даних.

Після деякої додаткової думки, у мене є сильна підозра , що дані ви працюєте, яке - то граф . Дуже правдоподібно, що складається з декількох з'єднаних компонентів, і в цьому випадку ви можете розкласти на набір графіків, із задоволеним побічним ефектом зменшення розмірності даних. Навіть якщо графік є лише двома з'єднаними компонентами приблизно однакового розміру, це означає, що ваше попарне порівняння має приблизно загальну вартість!$G$$G$$G$$O(N^2)$$\frac{1}{4}$

Якщо графік симетричний, можуть бути корисні такі спостереження:

1. Визначте Лаплаціана вашого графа як , де - діагональна матриця градусів (сума кожного векторного ознаки), а - матриця примикання (укладання векторів ознак у матрицю).$P=D-A$$D$$A$
2. Часи числа відображається як власне є число компонент зв'язності . Декомпозиція графіка в його з'єднані компоненти та робота виключно з цими компонентами матиме побічний ефект зменшення розмірності ваших даних; обчислити вашу кількість інтересів буде простіше. Але обчислення ейгендекомпозиції буде коштувати дорого за мільйон вершин ...$0$$P$$G$
3. (Після повної перестановки) являє собою блок - діагональна матриця лапласіанов з компонент зв'язності .$P$$G$
4. $P$ - позитивний напівдефініт. Це майже напевно якось корисно.
5. Алгебраїчна зв'язність є значенням другого-найменше власне . Це говорить про те, наскільки добре пов'язаний є. Можливо, це відповість на деякі запитання, які вас цікавлять: вектори, які мають спільні риси. Теорія спектральних графів розвиває цю ідею ще детальніше.$G$$P$$G$

"Це проблема СНР?" Я не впевнений. В одному додатку функції описують поведінку, і ми хочемо пов’язати людей з подібною поведінкою. Це робить це проблемою СНР?

Якщо у вас є двосторонній графік, що пов'язує людей з поведінкою, ви можете вважати це як мережу приналежності , а люди як рядки, а поведінку - як стовпці. Якщо ви хочете , щоб з'єднати людей з людьми з допомогою поведінки , який вони мають у загальному, ви можете вирахувати . - це кількість спільних для людей поведінки. Очевидно, набір вершин, де відповідає на ваше запитання.$B$$BB^T=A$$A_{ij}$$A_{ij}\ge L$

людей, які зустрічаються у просторі-часі блоки:
розділіть простір на блоки (міські блоки, квадратні км, що завгодно) та час на блоки . Є хороший шанс, що якщо люди зустрінуться, вони зустрінуться в одному блоці. Тому запускайте NN в кожному блоці. Виконання та швидкість помилок, звичайно, залежатимуть від розмірів та форм блоків (також від того, з чим ви можете паралелізувати / MapReduce), але у вас є параметри, з якими можна грати - інженерія, а не широко відкритий .$Nspace$$Ntime$
$O( N^2 )$

Дивіться також:
Найближчі-сусіди-пошук-для-дуже-високих розмірів даних на datascience.stackexchange

pairwise.py :

використовує бібліотеку Python Gensim та heapq зі стандартної бібліотеки для масового швидкого та масштабованого попарного порівняння між атрибутивно великою кількістю документів за допомогою TF-IDF та косинусоїдальної відстані.

Перевернутий словник! Представіть крапку як , ключі, що відповідають ненульовим значенням (тобто функції, що відповідають дійсності). Середній розмір зберігання елемента буде . Дійсно, мені потрібні лише рядки для зберігання функцій, а плаває, щоб утримувати значення.$x$$feat_1:value_1, feat_{101}:value_{101}$$K$$K$$K$

Для кожної функції побудуйте словник із вмістом індексів, що поділяють цю функцію. Сподіваємось, це число не буде занадто великим (якщо у вас є функція, якою поділяються всі індекси, такий підхід зруйнований, ви можете перестати читати тут).

Цей словник виглядає так: . Якщо я хочу набрати швидкість і заощадити простір, я навіть можу скинути функції, які можна знайти лише з одним елементом (тут: ), оскільки вони не створюють близьких пар. Цей словник вбудований в операції .$feat_1 : \{1,101,202\}, feat_2 : \{7,202\},feat_3 : \{202\}...feat_M:\{3,45,6\}$$feat_3$$O(NK)$

Тепер, коли ви хочете оцінити відстань елемента до інших, створіть (зі словником) список індексів, що діють принаймні однією ознакою з . Ви знаєте, що всі інші елементи далекі від (вони навіть не мають жодної функції!). Якщо середня кількість "елементів на особливість" є низькою (назвіть її ), вам більше не потрібно перебувати в .$x$$x$$x$$P$$O(N^2)$

Тепер є ще одне велике вдосконалення, якщо і представлені також як словники, оскільки або можна оцінити ітерацією по клавішах і , в операціях .$x$$y$$d(x,y)$$<x,y>$$x$$y$$O(K)$

Ваша остаточна складність - це замість наївного початкового підходу.$O(NPK)$$O(MN^2)$

Я застосував цей метод для впровадження КНН над великим текстовим набором (поїзд: 2 000 000 рядків, тест 35 000 рядків, кількість особливостей: 10 000, середня кількість функцій на елемент: 20), який пробіг приблизно за годину. .

Я знайшов посилання, яке може бути корисним, і я вважаю, що це асимптотично ефективніше, ніж будь-яке інше рішення, представлене дотепер. Якщо я правильно розумію, ви можете побудувати графу найближчий сусід (KNN) за час .$k$$O(LN\log(N))$

Л. Ероц, М. Штейнбах та В. Кумар. "Новий спільний алгоритм кластеризації найближчого сусіда та його програми." Праці 1-го семінару з кластеризації даних високих розмірів та його застосувань, 2002.

Божевільним, але, ймовірно, підходом може стати перехід на частотну область. Існує божевільний / хворий швидкий ффт під назвою " рідкісний FFT ", де ви вказуєте кількість режимів, про які вам важливо (ваша кількість 100 функцій), а потім ви працюєте в згортаннях і шукаєте рядок-макс більший за поріг (шукайте біти у верхніх регістрах ваших номерів). Це буде де .$O(k \cdot \log{n} )$$k << n$

Враховуючи, що ваш k становить 100, а ваш n - 1e6, це повинно прискорити ~ 1e4x прискорення порівняно з класичним FFT.

Якщо вам потрібна ще 20-кратна швидкість, і ви приймаєте ризик, то замість того, щоб зводити всі рядки до домену та шукати пік, ви можете завантажувати підмножину рядків.

Ви також можете попередньо фільтрувати стовпці, видаляючи стовпці, сума яких не перевищує 50, або якийсь інший поріг, який є приблизно на половину кількості рядків, які ви хочете відповідати. По крайней мере, слід видаляти стовпці всіх нулів і всіх 1 як неінформативні. Те саме з рядками, які є повністю порожніми або порожніми, або рядками, які настільки заповнені, що вони не мають значення.

Завдання: я маю навести приклад із використанням синтетичних даних та порівняти деякі методи.

Я щойно натрапив на папір, що має пряме значення.

Рандомізовані алгоритми та NLP: використання хеш-чутливої ​​функції для кластеризації іменників високої швидкості (Ravichandran et al, 2005)

Це реально реалізовано в https://github.com/soundcloud/cosine-lsh-join-spark , де я його знайшов.

Він ґрунтується на чутливому хешировании (вже згадувалося в інших відповідях). Після того, як він скоротив вектори функцій до просторового простору, він використовує швидке приєднання дистанції Хеммінга, щоб знайти найближчих сусідів.