Як вимірювати та контролювати ефективність введення / виводу


0

У нас є кластер linux з робочими вузлами, що використовують спільну віддалену файлову систему. Ми хочемо оптимізувати I / O, зокрема, коли працівники читають з віддаленого fs.

Відправною точкою є вимірювання продуктивності вводу-виводу. Кластер використовується багатьма користувачами, і їхні завдання виконують інтенсивне читання.

Я хотів би спостерігати за продуктивністю багато разів протягом дня, щоб побачити, як вони змінюються (ніч / день / робочі дні / до і після оновлення обладнання, ...).

Питання в тому, як виміряти продуктивність. Якщо можливо, я хотів би від'єднати продуктивність мережі від продуктивності диска. Я хочу перевірити різні види читання, великі файли, малі, послідовні, випадкові, доступ, ... уникати кешування, ...

У вас є досвід роботи з таким тестом? Чи знаєте ви деякі безкоштовні інструменти, бібліотеку, легкий інтерфейс з іншими утилітами (візуалізація, ...)

Зараз найбільш розумним, що я можу зробити, є використання dd


Спробуйте sar man7.org/linux/man-pages/man1/sar.1.html . Він може читати багато статистичних даних (включаючи значення, про які повідомляє vmstat, iostat, dstat, ...), а також здатний зберігати кожні 10-хвилинні резюме на fs ( /var/log/sa ). На великих кластерах ganglia / nagios також використовуються.
osgx

Відповіді:


0

Я використав iozone в минулому для тестування дисків. Вона має безліч варіантів для налаштування саме того, як буде виглядати ваше живе навантаження. Щоб бути більш конкретними, треба точно знати, який вантаж у вас буде. Я пропоную поглянути на man man .

Мережа приблизно така ж проблема. Різні види навантажень вимагають різних тестів. Залежно від протоколу, можливо, доведеться використовувати радикально різні підходи. Якщо ви просто хочете перевірити продуктивність мережі, ви можете використовувати її hping затопити вашу мережу пакетами.

Якщо ви хочете, наприклад, протестувати HTTP-сервер, ви можете використовувати його облога або jMeter зробити це.

Якщо ви, з іншого боку, бажаєте відстежувати сервер під час виробництва, то вам доведеться задіяти якийсь спосіб вимірювання. Напевно, найпопулярніші інструменти обліку Linux мунін , Кактуси і collectd , але там є тонна інструментів. Більшість з них беруть плагіни, які легко написані в сценарії оболонки або у вашій улюбленій мові програмування, але вони також містять ряд плагінів для моніторингу навантаження на вхідні дані тощо.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.