Видалення мільярдів файлів із каталогу, також бачачи прогрес

У мене є каталог в 30 ТБ, який містить мільярди файлів, які формально є всі файли JPEG. Я видаляю кожну папку таких файлів:

sudo rm -rf bolands-mills-mhcptz

Ця команда просто працює і нічого не показує, працює вона чи ні.

Я хочу побачити, як це видалення файлів або який поточний стан команди.

Ви можете використовувати , rm -vщоб rmнадрукувати один рядок в файл видалений. Таким чином ви бачите, що rmдійсно працює для видалення файлів. Але якщо у вас мільярди файлів, то все, що ви побачите, - rmце все ще працює. Ви не матимете уявлення, скільки файлів уже видалено і скільки залишилося.

Інструмент pvможе допомогти вам в оцінці прогресу.

http://www.ivarch.com/programs/pv.shtml

Ось як ви б викликати rmз pvз виходом , наприклад ,

$ rm -rv dirname | pv -l -s 1000 > logfile
562  0:00:07 [79,8 /s] [====================>                 ] 56% ETA 0:00:05

У цьому надуманому прикладі я сказав, pvщо є 1000файли. Результат pvпоказує, що 562 вже видалено, минувший час - 7 секунд, а оцінка для завершення - за 5 секунд.

Деякі пояснення:

• pv -lзмушує pvрахувати нові рядки замість байтів
• pv -s numberрозповідає, pvяка загальна сума, щоб вона могла дати вам оцінку.
• Перенаправлення logfileна кінець призначений для чистого виведення. Інакше рядок стану від pvзмішується з результатом з rm -v. Бонус: у вас буде файл файлу, що було видалено. Але остерігайтеся, що файл вийде величезним. Ви також можете переспрямувати, /dev/nullякщо вам не потрібен журнал.

Щоб отримати кількість файлів, ви можете скористатися цією командою:

$ find dirname | wc -l

Це також може зайняти багато часу, якщо є мільярди файлів. Тут ви можете також скористатися pv, щоб побачити, скільки вона підрахувала

$ find dirname | pv -l | wc -l
278k 0:00:04 [56,8k/s] [     <=>                                              ]
278044

Тут йдеться про те, що для прорахування файлів 278k знадобилося 4 секунди. Точне підрахунок в кінці ( 278044) - вихід з wc -l.

Якщо ви не хочете чекати підрахунку, тоді ви можете вгадати кількість файлів або використовувати pvбез оцінки:

$ rm -rv dirname | pv -l > logfile

У такий спосіб у вас немає оцінки закінчити, але принаймні ви побачите, скільки файлів уже видалено. Перенаправлення на, /dev/nullякщо вам не потрібен файл журналу.

Нітпік:

• вам справді потрібно sudo?
• зазвичай rm -rдостатньо для рекурсивного видалення. не потрібно rm -f.

Перевірте відповідь лесмена , це набагато краще, ніж мій - особливо останній pvприклад, який не займе набагато більше часу, ніж початковий мовчазний, rmякщо ви вкажете /dev/nullзамість logfile.

Припустимо, що ваша rmопція підтримує (можливо, це відбувається з моменту запуску Linux), ви можете запустити її у багатослівному режимі за допомогою -v:

sudo rm -rfv bolands-mills-mhcptz

Як було зазначено рядом коментаторів, це може бути дуже повільним через кількість вихідного сигналу, що генерується та відображається терміналом. Ви можете замість цього перенаправити вихід на файл:

sudo rm -rfv bolands-mills-mhcptz > rm-trace.txt

і дивіться розмір rm-trace.txt.

Ще один варіант - спостерігати за зменшенням кількості файлів у файловій системі. В іншому терміналі запустіть:

watch  df -ih   pathname

Кількість використаних входів зменшиться в міру rmдосягнення прогресу. (Якщо файли здебільшого не мали декількох посилань, наприклад, якщо дерево було створено cp -al). Це відстежує хід видалення з точки зору кількості файлів (та каталогів). dfбез -iвідстеження з точки зору використовуваного простору.

Ви також можете запустити, iostat -x 4щоб побачити операції вводу / виводу за секунду (як і кіБ / с, але це не дуже актуально для чистих метаданих вводу / виводу).

Якщо вам цікаво, над якими файлами rmзараз працює, ви можете приєднати straceдо нього та спостерігати за тим, як unlink()(і getdents) системні дзвінки заїжджають на ваш термінал. напр sudo strace -p $(pidof rm). Ви можете ^cрозтягнути шнур, rmне перебиваючи його.

Я забуваю, якщо rm -rзмінити каталог в дерево, яке воно видаляє; якби ви так могли поглянути /proc/<PID>/cwd. Його /proc/<PID>/fdміць часто каталог Fd відкритою, так що ви могли б дивитися на це , щоб побачити , що ваш rmпроцес в даний час розглядає.

Хоча вищезазначені відповіді всі використовують rm, rmнасправді може бути досить повільним при видаленні великої кількості файлів, як я нещодавно зауважував, коли витягування ~ 100K файлів з архіву .tar фактично займало менше часу, ніж їх видалення. Хоча це насправді не відповідає на задане вами питання, кращим рішенням вашої проблеми може бути використання іншого методу для видалення файлів, наприклад, одного з актуальних відповідей на це питання .

Мій особистий улюблений метод - це використовувати rsync -a --delete. Я вважаю, що цей метод працює досить швидко, що варто простоти у використанні над найбільш схваленою відповіддю на це питання , в якій автор написав програму C, яку вам потрібно було б скласти. (Зверніть увагу, що це виведе кожен файл, який обробляється до stdout, приблизно так rm -rv; це може уповільнити процес на дивовижне кількість. Якщо ви не хочете цього виводу, використовуйте rsync -aq --deleteабо перенаправляйте вихід на файл.

Автор цієї відповіді каже:

Тепер програма (в моїй системі) видалить 1000000 файлів за 43 секунди. Найближчою програмою до цього був rsync -a --delete, який зайняв 60 секунд (що також виконує видалення в порядку, але не виконує ефективного пошуку каталогу).

Я виявив, що це досить добре для моїх цілей. Також важливо важливий з цього відповіді, принаймні, якщо ви використовуєте ext4:

Для попереднього роздуму слід видалити пошкоджений каталог і переробити його після. Каталоги лише коли-небудь збільшуються в розмірі і можуть залишатися погано ефективними навіть з кількома файлами всередині через розмір каталогу.

Одне, що ви можете зробити, - це запустити rmпроцес у фоновому режимі (без виводу, щоб він не сповільнився), а потім, відстежуйте його на передньому плані за допомогою простої ^(а) команди:

pax> ( D=/path/to/dir ; rm -rf $D & while true ; do
...>   if [[ -d $D ]] ; then
...>     echo "$(find $D | wc -l) items left"
...>   else
...>     echo "No items left"
...>     break
...>   fi
...>   sleep 5
...> done )

27912 items left
224 items left
No items left

pax> _

find/wcКомбо може бути замінений будь-яким інструментом , здатним дати вам одиниці , які ви хочете.

^(а) Ну, порівняно просто, порівняно з, скажімо, ядерною фізикою, гіпотезою Рімана, або що купити дружині на Xmas :-)

Певний час тому я щось писав, щоб надрукувати швидкість, яку друкували рядки. Ви можете запустити, rm -rfv | ./counterі він буде друкувати рядки за секунду / хв. Хоча це і не є прямим прогресом, він дасть вам деякий відгук про швидкість прогресу, можливо, rmблукав у мережевій файловій системі чи подібному, можливо?

Посилання на код знаходиться тут:

http://www.usenix.org.uk/code/counter-0.01.tar.gz