Видаляючи великі обсяги (4 мільйони рядків) даних mysql ефективно, дуже регулярно

У нас є таблиця mysql, яка в будь-який момент налічує близько 12 мільйонів рядків. Нам потрібно видалити старі дані, щоб розмір таблиці був дещо керованим.

Зараз ми виконуємо цей запит щодня, опівночі, використовуючи завдання cron:

DELETE FROM table WHERE endTime < '1393632001'

В останній раз, коли запит був проведений, він вивчив 4 602 400, зайняв 3 хвилини і процесор пройшов крізь дах.

Що ми можемо зробити, щоб центральний процесор, синхронні db-з'єднання, глибина диска тощо не безпідставно шипили, зберігаючи при цьому старі дані?

PS: Ви помітите, що запит насправді відбувається у досить невідповідний час у нашому циклі використання. Припустимо, що ми вже змістили час запиту, який має відбуватися в найнижчій точці використання кожного дня. Крім того, немає індексу на "endTime", і я вважаю за краще зберігати його таким чином, якщо це можливо, тому що тонна даних вставляється дуже регулярно, і не дуже багато пошуку.

Рішення вашої проблеми - це можливість MySQL під назвою "розділення". Документація тут .

Розбиття розділів - це зберігання однієї таблиці в окремих "розділах". Вони визначаються конкретним виразом, зазвичай значенням стовпця або діапазоном. У вашому випадку це, мабуть, ґрунтувалося б endTime- припускаючи, що відомо, коли створюється запис, і він не змінюється.

Ви б зберігали день endTimeу кожній секції . Тоді крок видалення буде обрізанням розділу, а не видаленням рядків у великій таблиці. Урізання розділів було б набагато швидшим методом.