Я хочу створити базу даних, використовуючи будь-яку з можливих RDBMS. У ній буде таблиця з приблизно 150 стовпцями. Мета - здійснити пошук найближчим сусідом деяких інших об'єктів. Отже, це NNS у 150-мірному просторі.

Я вже намагався використовувати деякі очевидні методи, такі як відстані L1 або L2, але, звичайно, потрібно багато часу для таблиць з багатьма рядками. Також я спробував подивитися на KD-дерево (зауважте, я його не тестував) та PG-Strom, але вони не є хорошим рішенням для даних з багатьма розмірами.

Чи можу я якось поліпшити швидкість описаного пошуку за допомогою математичних методів (як KD-дерево) або технічних методів (наприклад, PG-Strom)?

Я спробую використовувати будь-які RDBMS, які дозволяють підвищити швидкість роботи NNS. Але MySQL і PostgreSQL - це найбільш відповідна СУБД для мене.

PostgreSQL 9.6 за допомогою cube

Спочатку встановіть розширення куба

CREATE EXTENSION cube;

Тепер ми створимо деякий n-мірний простір зі 100 000 точок у 50 вимірах. Крім того, ми додамо індекс GIST.

CREATE TEMP TABLE space_nd
AS
  SELECT i, cube(array_agg(random()::float)) AS c
  FROM generate_series(1,1e5) AS i
  CROSS JOIN LATERAL generate_series(1,50)
    AS x
  GROUP BY i;

CREATE INDEX ON space_nd USING gist ( c );
ANALYZE space_nd;

Тепер ми <->створимо єдину точку і скористаємося оператором, щоб знайти найближчу точку за допомогою евклейдової відстані.

WITH points AS (
  SELECT cube(array_agg(random()::float)) AS c
  FROM generate_series(1,50)
    AS x
)
SELECT i,
  pg_typeof(space_nd.c),
  pg_typeof(points.c),
  cube_distance(space_nd.c, points.c)
FROM space_nd
CROSS JOIN points
ORDER BY space_nd.c <-> points.c
LIMIT 5;

PostgreSQL 9.6+ підтримує інші оператори відстані cube. Усі вони можуть використовувати створений нами індекс GIST. А саме,

a <-> b float8  Euclidean distance between a and b.
a <#> b float8  Taxicab (L-1 metric) distance between a and b.
a <=> b float8  Chebyshev (L-inf metric) distance between a and b.

Це сказав, що є один застереження,

Щоб людям було складніше ламати речі, існує обмеження 100 на кількість розмірів кубів. Цей параметр встановлюється в cubedata.h, якщо вам потрібно щось більше.

Ви вимагаєте 150 розмірів. Це може бути незначним ускладненням.

Спершу розглянемо зменшення розмірів (наприклад, Аналіз принципових компонентів).

Тоді ви робите NN в невеликій кількості розмірів з більш високою продуктивністю.

Ви можете використовувати Pl / R для виконання PCA всередині постгрес, якщо це необхідно.

Погляньте на FLANN та OpenCV .

На жаль, мені не відомо про інтеграцію цього в систему RDBMS. Але є, наприклад, інтеграція інформації про хімічну структуру з Posgres. Так що в принципі це можна зробити.

Погляньте на https://github.com/a-mma/AquilaDB - це векторна база даних для зберігання функцій векторів разом з метаданими JSON. Зберігайте це разом зі своїми RDBMS та використовуйте метадані, щоб підтримувати перехресні посилання між даними.