Чому rm повільно працює на зовнішньому накопичувачі (підключений USB, введіть fuseblk) з файлами 50Gb?

Я намагався використовувати rsnapshot для створення резервних копій, але вважаю його непридатним. Незважаючи на те, що він може розрізняти каталог (50 Гб) і дублювати його (жорсткий посилання кожного файлу) за кілька хвилин, і я можу копіювати весь каталог приблизно за півгодини, на його видалення потрібно більше години. Навіть безпосередньо використовуючи rm -rfv, я вважаю, що може зайняти до півсекунди rm один файл, тоді як команди cpта linkкоманди завершуються миттєво.

Чому РМ так повільний? Чи є швидший спосіб рекурсивно видалити жорсткі посилання? Для мене немає сенсу, що на копіювання файлу потрібно менше часу, ніж на його видалення.

Файлова система, над якою я працюю, це зовнішній накопичувач, підключений через usb і тип fuseblk (що, на мою думку, означає, що це ntfs). На моєму комп’ютері працює ubuntu linux.

Вихід зверху:

Cpu(s):  3.0%us,  1.5%sy,  0.0%ni, 54.8%id, 40.6%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   8063700k total,  3602416k used,  4461284k free,   557604k buffers

Зрештою, незалежно від того, чим займаєтесь, rmдоводиться запускати unlinkкожен файл, який ви хочете видалити (навіть якщо ви зателефонували rm -rу батьківський каталог). Якщо файлів потрібно видалити, це може зайняти багато часу.

При запуску є два особливо трудомісткі процеси rm -r:

1. readdir, за яким
2. кількість дзвінків на unlink.

Пошук усіх файлів, а потім проходження кожного файлу для його видалення може зайняти дуже-дуже довго.

Якщо ви вважаєте це "непридатним", оскільки воно робить каталог непридатним протягом деякого часу, подумайте про переміщення батьківського каталогу перед його видаленням. Це звільнить цю назву, щоб програма знову використовувалась, не маючи часу надто незручності.

Якщо припустити, що файлова система насправді є NTFS (це незрозуміло з вашого питання), NTFS, як правило, досить повільний при видаленні великих фрагментів файлів. Ви можете подумати про використання більш підходящої файлової системи для своїх цілей (новіші файлові системи ext мають досить гарну ефективність видалення, якщо у вас немає будь-яких інших потреб). ВЗАГАЛЬНІ самі по собі також не особливо швидкі. Ви можете подумати про те, чи можете ви зробити це якимось чином, не використовуючи FUSE.

Чому РМ так повільний? Я поняття не маю. Але я знаю більш швидкий спосіб:

mkdir blank
rsync -a --delete blank/ test/

Оновлення: ця відповідь на сервері за замовчуванням має деякі пояснення. Схоже, rsync видаляє файли в певному порядку, що призводить до того, що дерево файлової системи залишається врівноваженим і ніколи не потребує перебалансування. rm просто видалить файли і спричинить багато перебалансування по мірі їх видалення. Існує деяка інформація про перебалансування тут .

Ну, у мене колись була схожа проблема з вашою. Я виявив, що ваш "ва" високий, ви можете використовувати

iostat -x 1

щоб перевірити, чи утиліта вашого диска висока, якщо так, то це означає, що ваш диск досить зайнятий. Перевірте, чи постійно записуються на диск деякі інші процеси.

Для спрощення використовуйте

vmstat 1

перевірити, чи високий b чи r < b . Це вказує на щось не так. У вашій ситуації я вважаю, що диск Io є оригінальною причиною.