Ми використовуємо rsnapshot для створення резервних копій. Він зберігає безліч знімків резервного копіювання файлу, але він видаляє старі. Це добре. Однак rm -rfна масове дерево каталогів потрібно близько 7 годин . Файлова система - XFS. Я не впевнений, скільки файлів є, але це, напевно, мільйони.
Чи є все-таки пришвидшити це? Чи є якась команда, яка виконує те саме, rm -rfщо не займає годин і годин?
Відповіді:
Ні.
rm -rfздійснює рекурсивне проходження першої глибини вашої файлової системи, закликаючи unlink()кожен файл. Дві операції, які призводять до того, що процес йде повільно, opendir()/ readdir()і unlink(). opendir()і readdir()залежать від кількості файлів у каталозі. unlink()залежить від розміру видаленого файлу. Єдиний спосіб зробити це швидше - або зменшити розмір і кількість файлів (що, мабуть, я підозрюю, що не є), або змінити файлову систему на одну з кращими характеристиками для цих операцій. Я вважаю, що XFS хороший для unlink () на великому файлі, але це не так добре для великих структур каталогів. Ви можете виявити, що ext3 + dirindex або reiserfs швидше. Я не впевнений, наскільки добре працює тариф на JFS, але я впевнений, що існує багато орієнтирів різної продуктивності файлової системи.
Редагувати: Здається, що XFS жахливо видаляє дерева , тому обов'язково змініть свою файлову систему.
unlinkщо нічого не робить із фактичним вмістом, але виконувати unlinkсистемний виклик, але файл файлової системи має більше роботи, якщо видалене посилання є останньою до файлу, і якщо вона наразі не відкрита. Це, звичайно, залежить від файлової системи, але тоді може бути дуже помітна різниця, коли видалений файл величезний.
Як альтернатива, відсуньте каталог убік, відтворіть його з тим самим ім'ям, дозволами та правом власності та перезапустіть усі додатки / послуги, які цікавлять цей каталог.
Потім ви можете "приємно запустити" оригінальний каталог у фоновому режимі, не турбуючись про тривалий відключення.
Переконайтеся, що у вас встановлені правильні параметри кріплення для XFS.
Використовуючи -ologbufs = 8, logbsize = 256k з XFS, ймовірно, втричі збільшить вашу ефективність видалення.
Якщо ви робите rm ефективно на рівні файлу, тоді це займе багато часу. Ось чому знімки на основі блоків такі хороші :).
Ви можете спробувати розділити rm на окремі ділянки і спробувати це зробити паралельно, проте я, можливо, не очікую, що він внесе якісь покращення. Як відомо, у XFS є проблеми з видаленням файлів, і якщо це значна частина того, що ви робите, то, можливо, інша файлова система для цього була б ідеєю.
Я знаю, що це по-старому, але я подумав, що я підкидаю пропозицію. Ви видаляєте ці файли послідовно, виконання паралельних операцій rm може прискорити роботу.
http://savannah.nongnu.org/projects/parallel/ паралель може використовуватися замість xargs
тому якщо ви видаляєте всі файли в deltedir
find -t f deletedir | parallel -j 10 rm
Це дозволить вам видалити лише порожні структури каталогів.
Примітка. Ви, ймовірно, все ще вплинете на обмеження файлової системи, як зазначено вище.
Чи альтернативним варіантом тут є відокремлення даних таким чином, щоб ви могли барахло і відновити фактичну файлову систему, а не робити rm?
Як щодо зменшення приємності команди? Подобається:
nice -20 rm -rf /path/to/dir/
find . -delete -name directoryі це набагато швидше, ніжrm -rf.