швидкий вибір випадкових рядків у Postgres

У мене є таблиця в postgres, яка містить пару мільйонів рядків. Я перевірив в Інтернеті і виявив наступне

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Це працює, але це дуже повільно ... чи існує інший спосіб зробити цей запит, або прямий спосіб вибрати випадковий рядок, не читаючи всю таблицю? До речі, 'myid' - це ціле число, але це може бути порожнє поле.

Можливо, ви захочете поекспериментувати OFFSET, як у

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

NЦе кількість рядків в mytable. Можливо, вам потрібно буде спочатку зробити a, SELECT COUNT(*)щоб з’ясувати значення N.

Оновлення (від Ентоні Хеткінса)

Ви повинні використовувати floorтут:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Розглянемо таблицю з 2 рядків; random()*Nгенерує 0 <= x < 2і, наприклад, SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;повертає 0 рядків через неявне округлення до найближчого int.

PostgreSQL 9.5 представив новий підхід для набагато швидшого відбору вибірки: TABLESAMPLE

Синтаксис є

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Це не оптимальне рішення, якщо ви хочете вибрати лише один рядок, оскільки вам потрібно знати КОЛИЧКУ таблиці, щоб розрахувати точний відсоток.

Щоб уникнути повільного COUNT і використовувати швидкий TABLESAMPLE для таблиць від 1 рядка до мільярдів рядків, ви можете зробити:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Це може виглядати не так елегантно, але, швидше за все, швидше, ніж будь-яка інша відповідь.

Щоб вирішити, чи потрібно використовувати систему BERNULLI oder, прочитайте про різницю на веб-сайті http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/

Я спробував це з підзапитом, і він спрацював нормально. Зсув, принаймні в Postgresql v8.4.4 працює нормально.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Вам потрібно використовувати floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Перегляньте це посилання, щоб переглянути різні варіанти. http://www.depesz.com/index.php/2007/09/16/my-oughts-on-getting-random-row/

Оновлення: (А.Хетчкінс)

Короткий зміст (дуже) довгої статті такий.

Автор перераховує чотири підходи:

1) ORDER BY random() LIMIT 1; - повільний

2) ORDER BY id where id>=random()*N LIMIT 1- неоднорідний, якщо є прогалини

3) випадкова колонка - її потрібно час від часу оновлювати

4) спеціальний випадковий агрегат - хитрий метод, може бути повільним: random () потрібно генерувати N разів

і пропонує вдосконалити метод №2 за допомогою

5) ORDER BY id where id=random()*N LIMIT 1 з подальшими запитами, якщо результат порожній.

Найпростіший і найшвидший спосіб отримати випадковий рядок - використовувати tsm_system_rowsрозширення:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Тоді ви можете вибрати точну кількість рядків, яку хочете:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Це доступно з PostgreSQL 9.5 і пізніших версій.

Див .: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

Я придумав дуже швидке рішення без TABLESAMPLE. Набагато швидше, ніж OFFSET random()*N LIMIT 1. Це навіть не вимагає підрахунку таблиць.

Ідея полягає в тому, щоб створити індекс виразу, наприклад, із випадковими, але передбачуваними даними md5(primary key).

Ось тест із 1М рядками зразків даних:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Результат:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Цей запит може іноді (з приблизно 1 / Number_of_rows) повертати 0 рядків, тому його потрібно перевірити та повторити. Також ймовірності не зовсім однакові - деякі рядки є більш імовірними, ніж інші.

Для порівняння:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Результати різняться в широких межах, але можуть бути досить поганими:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)