Видалення мільйонів файлів

У мене був рейтинг, поповнився мільйонами графічних зображень. Забагато для команди rm.

Я намагався знайти команду так:

find . -name "*.gif" -print0 | xargs -0 rm

Проблема полягає в тому, що вона дуже погано вибиває мою машину і викликає у клієнтів тайм-аути, оскільки це сервер.

Чи є спосіб швидше видалити всі ці файли ... без блокування машини?

Швидше - це не обов'язково те, що ви хочете. Можливо, ви хочете реально працювати повільніше , тому видалення жує менше ресурсів під час роботи.

Використовуйте nice (1), щоб знизити пріоритет команди.

nice find . -name "*.gif" -delete

Для процесів, пов'язаних з входом / виводом, nice (1) може бути недостатньо. Планувальник Linux враховує введення-виведення не лише CPU, але вам може знадобитися більш тонкий контроль над пріоритетом вводу-виводу.

ionice -c 2 -n 7 find . -name "*.gif" -delete

Якщо цього не зробити, ви також можете додати сон, щоб дійсно уповільнити його.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Оскільки у вас працює Linux, і це завдання, мабуть, пов'язане з входом / виводом, я раджу надати вашому команду пріоритет планувальника вводу-виводу, використовуючи ionice(1):

ionice -c3 find . -name '*.gif' -delete

Якщо порівнювати з початковою командою, то, мабуть, це може пошкодити ще декілька циклів процесора, уникаючи переходу xargs.

Ні.

Більш швидкого шляху немає, вийдіть з м'якого формату диска. Файли отримують rm одразу (до межі командного рядка, це також можна встановити до xargs), що набагато краще, ніж викликати rm у кожному файлі. Так що ні, швидшого шляху точно немає.

Використання nice(або reniceзапущеного процесу) допомагає лише частково, адже це призначено для планування ресурсу процесора , а не диска! І використання процесора буде дуже низьким. Це слабкість Linux - якщо один процес "з'їдає" диск (тобто багато працює з ним), вся машина застряє. Модифіковане ядро ​​для використання в режимі реального часу може бути рішенням.

Що я б робив на сервері - це вручну дозволити іншим процесам виконувати свою роботу - включити паузи, щоб сервер "дихав":

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

Це зачекатиме 5 секунд після кожні 100 файлів. Це займе набагато більше часу, але ваші клієнти не повинні помічати затримок.

Якщо кількість файлів, які потрібно видалити, значно перевищує кількість залишених файлів, можливо, це не найефективніший підхід до дерева файлів, які потрібно видалити, та всіх оновлень файлової системи. (Це аналогічно виконанню незграбного керування пам’яттю з посиланням, відвідування кожного об'єкта у великому дереві, щоб скинути його посилання, замість того, щоб все небажане переносити на сміття за один крок, а потім перебирати те, що можна прибрати для очищення.)

Тобто, клонуйте частини дерева, які слід зберегти в іншому обсязі. Заново створіть свіжу, порожню файлову систему на вихідному томі. Скопіюйте збережені файли назад у початкові контури. Це нечітко схоже на копіювання збору сміття .

Буде якийсь час простоїв, але це може бути краще, ніж постійні погані показники роботи та сервіс.

У вашій системі та ситуації це може бути непрактично, але легко уявити очевидні випадки, коли це саме шлях.

Наприклад, припустимо, ви хотіли видалити всі файли з файлової системи. Що було б сенсом повторювати та видаляти один за одним? Просто відключіть його і зробіть "mkfs" над розділом, щоб створити порожню файлову систему.

Або припустимо, ви хотіли видалити всі файли, крім півдюжини важливих? Дістаньте звідти півдюжини і ... "mkfs" зверху.

Зрештою, існує певна точка беззбитковості, коли достатньо файлів, які повинні залишитися, стає дешевше робити рекурсивне видалення з урахуванням інших витрат, як-от будь-який час простою.

Ти намагався:

find . -name "*.gif" -exec rm {} +

Знак + в кінці призведе до знаходження додаткового числа файлів для виконання однієї команди rm. Перегляньте це питання для отримання більш детальної інформації.