Чому зсув MYSQL вищої LIMIT сповільнює запит?

Короткий сценарій: Таблиця з більш ніж 16 мільйонами записів [розміром 2 ГБ]. Чим вище зсув LIMIT за SELECT, тим повільніше стає запит при використанні ЗАМОВЛЕННЯ ДО * basic_key *

Так

SELECT * FROM large ORDER BY `id`  LIMIT 0, 30 

займає набагато менше, ніж

SELECT * FROM large ORDER BY `id` LIMIT 10000, 30 

Це замовляє лише 30 записів і все одно. Отже, це не накладні витрати від ORDER BY.
Тепер, коли ви отримуєте останні 30 рядків, це займає близько 180 секунд. Як я можу оптимізувати цей простий запит?

Нормально, що більш високі компенсації сповільнюють запит, оскільки запит повинен відраховувати перші OFFSET + LIMITзаписи (і брати лише LIMITїх). Чим вище це значення, тим довше буде виконуватися запит.

Запит не може бути правильним, OFFSETоскільки, по-перше, записи можуть бути різної довжини, і, по-друге, можуть бути прогалини у видалених записах. Потрібно перевірити і підрахувати кожен запис на своєму шляху.

Припускаючи , що idє PRIMARY KEYз MyISAMтаблиці, ви можете прискорити його, використовуючи цей трюк:

SELECT  t.*
FROM    (
        SELECT  id
        FROM    mytable
        ORDER BY
                id
        LIMIT 10000, 30
        ) q
JOIN    mytable t
ON      t.id = q.id

Дивіться цю статтю:

• Продуктивність MySQL ORDER BY / LIMIT: пошук у кінці рядків

У мене була сама та сама проблема. Зважаючи на той факт, що ви хочете зібрати велику кількість цих даних, а не конкретний набір 30, ви, ймовірно, запустите цикл і збільшите зміщення на 30.

Отже, що можна зробити замість цього:

1. Зберігати останній ідентифікатор набору даних (30) (наприклад, lastId = 530)
2. Додайте умову WHERE id > lastId limit 0,30

Таким чином, ви завжди зможете мати зміщення ZERO. Ви будете вражені поліпшенням продуктивності.

MySQL не може перейти безпосередньо до запису 10000 (або 80000-й байт як ваша пропозиція), оскільки він не може припустити, що він упакований / упорядкований так (або що він має постійні значення від 1 до 10000). Хоча в дійсності це може бути і так, MySQL не може припустити, що в ньому немає дірок / прогалин / видалених ідентифікаторів.

Отже, як зазначив боб, MySQL доведеться отримати 10000 рядків (або пройти через 10000-й записи індексу id), перш ніж знайти 30 для повернення.

EDIT : Для ілюстрації моєї точки зору

Зауважимо, що хоча

SELECT * FROM large ORDER BY id LIMIT 10000, 30 

буде повільним (ер) ,

SELECT * FROM large WHERE id >  10000 ORDER BY id LIMIT 30 

буде швидко (er) , і повертає ті самі результати за умови відсутності ids (тобто прогалин).

Я знайшов цікавий приклад оптимізації SELECT запитів ORDER BY id LIMIT X, Y. У мене є 35 мільйонів рядків, тому знадобиться 2 хвилини, щоб знайти діапазон рядків.

Ось хитрість:

select id, name, address, phone
FROM customers
WHERE id > 990
ORDER BY id LIMIT 1000;

Просто покладіть WHERE з останнім ідентифікатором, який ви отримали, збільшуйте продуктивність. Для мене це було від 2хвилин до 1 секунди :)

Інші цікаві трюки тут: http://www.iheavy.com/2013/06/19/3-ways-to-optimize-for-paging-in-mysql/

Він також працює з рядками

Частка двох запитів, що займає багато часу, - це отримання рядків із таблиці. Логічно кажучи, у LIMIT 0, 30версії потрібно отримати лише 30 рядків. У LIMIT 10000, 30версії оцінюється 10000 рядків і повертається 30 рядків. Може бути проведена деяка оптимізація мого процесу зчитування даних, але врахуйте наступне:

Що робити, якщо у запитах було слово WHERE? Двигун повинен повернути всі рядки, які відповідають вимогам, а потім сортувати дані та нарешті отримати 30 рядків.

Також розглянемо випадок, коли рядки не обробляються в послідовності ЗАМОВЛЕННЯ ПО. Усі рядки, що відповідають вимогам, повинні бути відсортовані, щоб визначити, які рядки повертати.

Для тих, хто цікавиться порівнянням та цифрами :)

Експеримент 1: Набір даних містить близько 100 мільйонів рядків. Кожен рядок містить кілька BIGINT, TINYINT, а також два поля TEXT (навмисно), що містять близько 1k символів.

• Синій: = SELECT * FROM post ORDER BY id LIMIT {offset}, 5
• Помаранчевий: = метод @ Quassnoi. SELECT t.* FROM (SELECT id FROM post ORDER BY id LIMIT {offset}, 5) AS q JOIN post t ON t.id = q.id
• Звичайно, третій метод, ... WHERE id>xxx LIMIT 0,5тут не з'являється, оскільки він повинен бути постійним часом.

Експеримент 2: Аналогічна річ, за винятком того, що в одному рядку є лише 3 BIGINT.

• зелений: = синій раніше
• червоний: = помаранчевий раніше