Що таке затримка P99?

Що означає затримка P99? Я постійно чую про це в обговоренні продуктивності програм, але не зміг знайти в Інтернеті ресурс, який би говорив про це.

Це 99-й процентиль . Це означає, що 99% запитів повинні бути швидшими, ніж задана затримка. Іншими словами, лише 1% запитів може бути повільнішим.

Ми можемо пояснити це через аналогію, якщо 100 учнів пробігають гонку, то 99 учнів повинні закінчити гонку в "затримку" часу.

Уявіть, що ви збираєте дані про ефективність своєї служби, а нижче наведена таблиця - це збір результатів (значення затримки вигадані для ілюстрації ідеї).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

Затримка P99 вашої послуги становить 7 секунд. Лише 1% запитів займає більше часу. Отже, якщо ви можете зменшити затримку P99 вашої послуги, ви збільшуєте її продуктивність.

Давайте звідси візьмемо приклад

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Таким чином, ми можемо сказати, що 99 відсотків веб-запитів, знайдена затримка склала 1,3 мс (мс / мікросекунд залежить від налаштованих заходів вашої системи затримки) або нижче. Як сказав @tranmq, якщо ми зменшимо затримку служби P99, ми можемо збільшити її ефективність.

І також варто відзначити p95, оскільки, можливо, мало запитів робить p99 дорожчим, ніж p95, наприклад) початкові запити, що створює кеш, об’єкти класу нагріваються, нитки init ...

Нарешті; ми можемо мати приблизно 1% шуму в наших вимірюваннях (наприклад, перевантаженість мережі, відключення, погіршення сервісного обслуговування), тому затримка p99 є хорошим представником практично найгіршого випадку. І майже завжди наша мета - зменшити затримку p99.