Прискорення запитів на OpenStreetMap PostGIS

У мене є дані OpenStreetMap для Нідерландів, завантажені в базу даних PostGIS (PostgreSQL 8.3 / PostGIS 1.3.3) за допомогою схеми осмосу . Це означає, що всі теги зберігаються в полі hstore . На додаток до індексу GIST, який осмос створює на полі геометрії, я створив додатковий індекс GIST на полі тегів.

Намагаючись запитувати, використовуючи як просторове обмеження, так і обмеження на полі тегів, я вважаю, що це повільніше, ніж хотілося б. Запит, як цей:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

потрібно 22 секунди, щоб повернути 78 записів.

У цій таблиці є близько 53 мільйонів записів.

Чи є спосіб значно прискорити це? Я чув, що hstore реалізовано значно краще в PostgreSQL 9, чи допоможе оновлення?

Одним із методів може бути запит на теги, які вас цікавлять, та розміщення цих записів у новій таблиці. Тоді вам потрібно буде лише запитувати нову таблицю замість усіх 53 мільйонів записів. Якщо ви намагаєтесь оновлювати свою базу даних, ви можете запускати цей запит щоразу, коли ви отримуєте нові дані від OSM.

Ви можете спробувати створити індекс для стовпця "Зберігати",

CREATE INDEX nodes_tags_idx ON nodes USING GIST(tags)

а потім скористайтеся ?оператором, щоб обмежити запит лише тими рядками:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

Функції st_within та _st_within не відомі своєю швидкістю. Оператор && може допомогти, оскільки він перевірить bbox замість геометрії

Ви можете спробувати наступне:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND geom && ST_SetSRID('BOX3D(4 52,5 53)'::box3d,4326);

Щоб отримати додаткові поради щодо ефективності, перегляньте: http://postgis.refractions.net/docs/ch06.html

Проблема з вашим запитом - це tags->'man_made'='surveillance'пункт. Це змушує Postgres розширювати сховище тегів і не дозволяє йому використовувати індекс. Якщо ви перезаписуєте це за допомогою @>(містить), це дозволить використовувати індекс.

Оскільки ви &&запитуєте прямокутник, ви можете використовувати замість ST_Within. Це матиме невеликий приріст, оскільки ST_Within не так складно оцінити, а ST_Within неявно робить &&перевірку.

Додатковим збільшенням швидкості було б використання індексу GIN на тегах замість індексу GIST. Індекси GIN займають більше часу, але вони швидші.

Весь запит був би

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n INNER JOIN users AS u ON n.user_id = u.id WHERE tags @> hstore('man_made', 'surveillance') AND geom && ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326);

Якщо ви знаєте, що багато будете запитувати певний тег, ви можете створити на ньому частковий індекс CREATE INDEX ON nodes ( tags->'man_made' ) WHERE (tags->'man_made' IS NOT NULL);.

Це дозволить умові WHERE tags->'man_made'='surveillance'використовувати індекс. На жаль, цей індекс не може допомогти @>запитам, а індекси GIN або GIST не можуть допомогти tags->'foo'запитам, тому вам доведеться співставити запити з вашими індексами.

спробуйте це замість цього:

ВИБІР n.geom, n.tags, n.tstamp, u.name ІЗ вузлів ЯК ВНУТРІШНЯ ПРИЄДНАЙТЕСЬ користувачів як у ON n.user_id = u.id WHERE теги @> 'man_made => нагляд ":: hstore AND ST_Within (geom , ST_GeomFromText ('POLYGON ((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))', 4326));