Скільки вибору в секунду може запустити сервер mysql?

Я пишу бізнес-план і мушу моделювати вартість, коли мій веб-сайт досягне 500 000 унікальних відвідувачів.

• відвідувачів: 500.000
• перегляди сторінок: 1 500 000
• перегляд сторінок павука: 500 000
• загальний перегляд сторінок: 2 000 000

Кожна сторінка робить 50 запитів + ​​-

• запитів на день: 100 мільйонів
• на годину: 4 млн
• за хвилину: 70 000
• за секунду: 1200
• пік: 3000

Для цього обчислення мені потрібно 3000 запитів секунди ... який сервер може обробити це?

Проблема полягає в тому, що фактично мій сайт робить 2 000 відвідувань в день, і маю - + 150/200 запитів в секунду ... починаючи з цього моменту я очікую 50 000 запитів в секунду.

Скільки мені потрібних серверів у кластері чи реплікації, які керують цією роботою?

Раніше я працював у компанії з електронної комерції з веб-сайтом, який мав кілька мільйонів звернень на сторінку в день. У нас був один DELL PE 1750 з 2 одноядерними процесорами та 2 ГБ оперативної пам’яті, розмір бази даних прибл. 4ГБ. У пік час цей сервер обробляв до 50 к + запитів в секунду.

Сказавши це: база даних була добре структурована, усі запити були тонко налаштовані (ми проводили щотижневі сеанси, аналізуючи повільні журнали запитів та виправляючи запити та індекси), а також налаштовано сервер. Кешування - це, безумовно, хороша ідея, але MySQL все одно робить це, вам просто потрібно проаналізувати продуктивність, а потім точно налаштувати, як використовується ваша пам'ять (кеш запитів проти інших параметрів).

З цього досвіду я можу вам сказати, що найбільший вплив справляють відсутні індекси, неправильні індекси та неправильна конструкція бази даних (наприклад, довгі рядкові поля в якості первинних ключів та подібні дурниці).

Все залежить від того, наскільки складний запит, і скільки пам’яті мають сервери, і наскільки швидкі диски.

Якщо запити дуже прості або дуже добре налаштовані, то один великий сервер бази даних може впоратися з цим. Якщо запити дуже складні (або прості, але погано налаштовані), вам знадобиться кілька серверів.

Це дійсно неможливо оцінити, не знаючи нічого про конкретні запити, які ви виконуєте, схему бази даних та її розмір.

Простий SELECT на індексованому стовпчику - це зовсім інший звір від пари JOIN на основі неіндексованих ... і, звичайно, все сильно змінюється, якщо задіяні таблиці містять записи 1K або 1M.

Також:

• Яка Ваша поточна конфігурація обладнання?
• Яку потужність (процесор, оперативну пам’ять, диск / вхід / вивід) ваш сервер використовує при поточному навантаженні?

Як зауважив Ігнасіо, ви можете розглянути кешування. У cms чи, можливо, навіть перед стеком. 50+ запитів для кожної (кожної!) Сторінки справді багато.

Судячи з ваших коментарів, найбільшим фактором буде розмір набору даних або хоча б розмір "гарячого" набору даних. 3.000qps або навіть 8000qps на 16-ядерному сервері взагалі не є проблемою, якщо сервер рідко повинен переходити на диск, щоб задовольнити запит. Як тільки активний набір даних перевищить об’єм пам’яті, яку InnoDB використовує для кешування, ваша продуктивність швидко знизиться.

Для великих "гарячих" наборів даних, мабуть, варто вкласти час, щоб перетворитись на схему "великих даних", саме для чого вони потрібні. Наприклад, якщо у вас є велика кількість даних для отримання, але ви ніколи не переписуєте, а лише додаєте нові дані, подивіться на Apache Hive. Перегляньте їх, як правило, це аромат, який ви можете досить легко поєднати з існуючим кодом, що також запобіжить печію, коли не залишиться місця в кеші.

Занадто багато речей, які можуть вплинути на ваші запити в секунду, будь ласка, не довіряйте моїм даним, не перевіряючи себе. Я розміщую тут свій результат тесту на швидкість, щоб допомогти комусь оцінити qps із поточною (2018-09) mysql базою даних та машиною. У моєму тесті розмір даних менший, ніж пам’ять сервера (це значно зменшує IO та значно підвищує продуктивність).

Я використовую один процесор 3,75 Гб пам'яті, 100 ГБ ssd, gcp хмара екземпляр сервера mysql і отримую:

• 1 клієнт, один sql один ряд читає: 799 кв.м / секунду.
• 50 клієнтів, один sql один ряд читають: 6403 sql / second.
• 50 клієнтів, один sql один ряд пише: 4341 рядків написано, qps. 4341 кв.м / секунду.
• 1 клієнт, 30 к. Рядкових записів на sql: 92109 написаних рядків / с.