Чи можна зробити програму "du" менш агресивною?

У нас є звичайна робота, яка робить duрезюме ряду підкаталогів, вибирає найгірших правопорушників і використовує вихід, щоб з’ясувати, чи є речі, які швидко зростають, щоб виявити потенційні проблеми. Ми використовуємо diffдля знімків для їх порівняння.

Існує каталог верхнього рівня, що містить декілька (кілька сотень) підкаталогів, кожен з яких може містити 10 тисяч тисяч файлів у кожному (або більше).

" du -s" У цьому контексті може бути дуже агресивним IO, що змушує наш сервер заставити кеш-пам'ять, а потім впливатимуть масивні IO-шипи, які є дуже небажаною стороною.

Яку стратегію можна використовувати для отримання одних і тих же даних без небажаних побічних ефектів?

Погляньте ionice. Від man ionice:

Ця програма встановлює або отримує клас планування ІО та пріоритет для програми. Якщо аргументів не вказано або просто -p, ionice запитає поточний клас планування io та пріоритет цього процесу.

Для роботи duз класом вводу-виводу "простоює", який є найнижчим пріоритетом, ви можете зробити щось подібне:

ionice -c 3 du -s

Це не повинно duперешкоджати вводу / виводу іншого процесу. Ви також можете розглянути можливість відхилення програми, щоб знизити її пріоритет, наприклад:

renice -n 19 "$duPid"

Ви також можете зробити обидва в час ініціалізації:

nice -n 19 ionice -c 3 du

Якщо в одному каталозі є багато файлів, це може спричинити шипи вводу / виводу, оскільки багато файлових систем не обробляють великі файлові дерева в одному каталозі. Розділення його на більше підкаталогів може допомогти там. Якщо у вас є більше 10 К файлів в одному режимі, і це спричиняє проблеми, ви, ймовірно, повинні розділити їх.

Що стосується відстеження використання диска, то ви спершу можете ознайомитись df, якщо значення використання там не швидко зростало, то і підкаталоги не з'явилися, і ви можете пропустити duцілком.

Іншою альтернативою може бути дискова система квот, яка постійно відслідковує використання, якщо ваша файлова система підтримує її.

Крім того, ioniceви можете спробувати зробити доступ до диска більш ефективним. Це можна спробувати виконати

find /du/root -printf ""
find /du/root -perm 777 -printf ""

спочатку (можливо ionice, теж). Не буде працювати, якщо файлів занадто багато. Скільки є занадто багато, залежить від кількості безкоштовної оперативної пам’яті.