Список аргументів занадто довга помилка для команд rm, cp, mv

У мене є кілька сотень PDF-файлів під каталогом в UNIX. Назви PDF-файлів дійсно довгі (приблизно 60 символів).

Коли я намагаюся видалити всі PDF-файли разом за допомогою наступної команди:

rm -f *.pdf

Я отримую таку помилку:

/bin/rm: cannot execute [Argument list too long]

Яке рішення цієї помилки? Чи виникає ця помилка для mvі cpкоманди, а? Якщо так, то як вирішити ці команди?

Причина цього відбувається в тому, що bash фактично розширює зірочку до кожного відповідного файлу, створюючи дуже довгий командний рядок.

Спробуйте це:

find . -name "*.pdf" -print0 | xargs -0 rm

Попередження: це рекурсивний пошук і знайде (і видалить) файли також у підкаталогах. Дотримуйтесь -fкоманди rm, лише якщо ви впевнені, що не хочете підтвердження.

Ви можете зробити наступне, щоб зробити команду нерекурсивною:

find . -maxdepth 1 -name "*.pdf" -print0 | xargs -0 rm

Інший варіант - використовувати -deleteпрапор пошуку:

find . -name "*.pdf" -delete

тл; д-р

Це обмеження ядра на розмір аргументу командного рядка. forЗамість цього використовуйте цикл.

Походження проблеми

Це системне питання, пов'язане execveі ARG_MAXпостійне. Про це є багато документації (див. Man execve , wiki wiki ).

В основному, розширення виробляє команду (з її параметрами), яка перевищує ARG_MAXліміт. Для ядра 2.6.23встановлено ліміт 128 kB. Ця константа була збільшена, і ви можете отримати її значення, виконавши:

getconf ARG_MAX
# 2097152 # on 3.5.0-40-generic

Рішення: Використання forциклу

Використовуйте forцикл, як це рекомендовано в BashFAQ / 095, і немає обмежень, окрім простору оперативної пам’яті / пам’яті:

Сухий запуск, щоб з’ясувати, видалить те, що очікується:

for f in *.pdf; do echo rm "$f"; done

І виконати:

for f in *.pdf; do rm "$f"; done

Крім того, це портативний підхід, оскільки глобус має сильну та стійку поведінку серед оболонок ( частина специфікації POSIX ).

Примітка. Як зазначається в кількох коментарях, це дійсно повільніше, але більш досяжне, оскільки може адаптувати складніші сценарії, наприклад, там, де потрібно зробити більше, ніж одну дію.

Рішення: Використання find

Якщо ви наполягаєте, ви можете використовувати, findале насправді не використовувати xargs, оскільки це "небезпечно (зламано, експлуатується тощо) під час читання даних, не обмежених NUL" :

find . -maxdepth 1 -name '*.pdf' -delete 

Використання -maxdepth 1 ... -deleteзамість -exec rm {} +дозволяє findпросто виконувати необхідні системні дзвінки без використання зовнішнього процесу, отже, швидше (завдяки коментарю @chepner ).

Список літератури

• Я надто довгий "список аргументів". Як я можу обробити великий список шматками? @ wooledge
• execve (2) - сторінка man Linux (пошук ARG_MAX);
• Помилка: список аргументів занадто довгий у вікі @ Debian;
• Чому я отримую "/ bin / sh: список аргументів занадто довгий" при передачі цитованих аргументів? @ SuperUser

findмає -deleteдію:

find . -maxdepth 1 -name '*.pdf' -delete

Ще одна відповідь - змусити xargsобробляти команди партіями. Наприклад, до deleteфайлів 100одночасно, cdв каталог і запустіть це:

echo *.pdf | xargs -n 100 rm

Або ви можете спробувати:

find . -name '*.pdf' -exec rm -f {} \;

Якщо ви намагаєтесь одночасно видалити дуже велику кількість файлів (сьогодні я видалив каталог з 485 000+), ви, ймовірно, зіткнетеся з цією помилкою:

/bin/rm: Argument list too long.

Проблема полягає в тому, що коли ви вводите щось на кшталт rm -rf *, *файл замінюється списком кожного відповідного файлу, наприклад, "rm -rf file1 file2 file3 file4" тощо. Існує порівняно невеликий буфер пам'яті, виділений для зберігання цього списку аргументів, і якщо він заповнений, оболонка не виконає програму.

Щоб вирішити цю проблему, багато людей будуть використовувати команду find, щоб знайти кожен файл і передати їх по одному в команду "rm", як це:

find . -type f -exec rm -v {} \;

Моя проблема полягає в тому, що мені потрібно було видалити 500 000 файлів, і це зайняло занадто довго.

Я натрапив на набагато швидший спосіб видалення файлів - команда "find" має вбудований прапор "-delete" прямо! Ось що я закінчив:

find . -type f -delete

Використовуючи цей метод, я видаляв файли зі швидкістю близько 2000 файлів в секунду - набагато швидше!

Ви також можете показувати назви файлів, коли ви їх видаляєте:

find . -type f -print -delete

… Або навіть показати, скільки файлів буде видалено, а потім час, який потрібно для їх видалення:

root@devel# ls -1 | wc -l && time find . -type f -delete
100000
real    0m3.660s
user    0m0.036s
sys     0m0.552s

ви можете спробувати це:

for f in *.pdf
do
  rm $f
done

EDIT: Коментар ThiefMaster пропонує мені не розголошувати таку небезпечну практику для молодих jedis, тому я додам більш "безпечнішу" версію (задля збереження речей, коли у когось є файл "-rf. ..Pdf")

echo "# Whooooo" > /tmp/dummy.sh
for f in '*.pdf'
do
   echo "rm -i $f" >> /tmp/dummy.sh
done

Після запуску вищезазначеного просто відкрийте файл /tmp/dummy.sh у вашій радіомовлення. редактор і перевіряйте кожен рядок на наявність небезпечних імен файлів, коментуючи їх, якщо вони знайдені.

Потім скопіюйте сценарій dummy.sh у свій робочий каталог та запустіть його.

Все це з міркувань безпеки.

Ви можете використовувати масив bash:

files=(*.pdf)
for((I=0;I<${#files[@]};I+=1000)); do
    rm -f "${files[@]:I:1000}"
done

Таким чином він буде стиратися партіями по 1000 файлів за крок.

Ви можете скористатися цією похвалою

find -name "*.pdf"  -delete

У команді rm є обмеження файлів, які ви можете одночасно видалити.

Одна з можливостей їх можна видалити, використовуючи кілька разів команду rm на основі моделей файлів, наприклад:

rm -f A*.pdf
rm -f B*.pdf
rm -f C*.pdf
...
rm -f *.pdf

Ви також можете видалити їх за допомогою команди find :

find . -name "*.pdf" -exec rm {} \;

Якщо вони мають назви файлів з пробілами або спеціальними символами, використовуйте:

find -maxdepth 1 -name '*.pdf' -exec rm "{}" \;

У цьому реченні шукайте всі файли у поточному каталозі (-maxdepth 1) з розширенням pdf (-name '* .pdf'), а потім видаліть кожен (-exec rm "{}").

Вираз {} замінить ім'я файлу і, "{}" встановить ім'я файлу як рядок, включаючи пробіли або спеціальні символи.

Я зіткнувся з тією ж проблемою, коли копіював каталог джерела до місця призначення

у вихідному довіднику було файлів ~ 3

Я використав CP з опцією -r, і це працювало для мене

cp -r abc / def /

він буде копіювати всі файли з abc в def, не надто довго попереджаючи список аргументів

Спробуйте це також. Якщо ви хочете видалити файли / папки, що перевищують 30/90 днів (+) або ще нижче, ніж 30/90 (-) днів, тоді ви можете використовувати наведені нижче команди

Наприклад: Якщо 90days виключає вище після видалення файлів / папок 90days, це означає 91,92 .... 100 днів

find <path> -type f -mtime +90 -exec rm -rf {} \;

Напр.: Для останніх останніх 30 днів файли, які ви хочете видалити, скористайтеся командою нижче (-)

find <path> -type f -mtime -30 -exec rm -rf {} \;

Якщо ви хочете отримати файли більше двох днів

find <path> -type f -mtime +2 -exec gzip {} \;

Якщо ви хочете бачити файли / папки лише за останній місяць. Наприклад:

find <path> -type f -mtime -30 -exec ls -lrt {} \;

Понад 30 днів більше лише тоді перелічіть файли / папки Ex:

find <path> -type f -mtime +30 -exec ls -lrt {} \;

find /opt/app/logs -type f -mtime +30 -exec ls -lrt {} \;

Я здивований, що тут немає ulimitвідповідей. Кожен раз, коли у мене є ця проблема, я опиняюся тут або тут . Я розумію, що це рішення має обмеження, але, ulimit -s 65536здається, часто робить для мене трюк.

У мене була така ж проблема з папкою, повної тимчасових зображень, яка зростала з кожним днем, і ця команда допомогла мені очистити папку

find . -name "*.png" -mtime +50 -exec rm {} \;

Різниця від інших команд - це параметр mtime, який займе лише файли, старші X днів (у прикладі 50 днів)

Використовуючи це кілька разів, зменшуючи з кожним виконанням денного діапазону, я зміг видалити всі непотрібні файли

Я знаю лише спосіб цього. Ідея полягає в тому, щоб експортувати цей список файлів у форматі PDF у файл. Потім розділіть цей файл на кілька частин. Потім видаліть файли PDF, перелічені у кожній частині.

ls | grep .pdf > list.txt
wc -l list.txt

wc -l - порахувати, скільки рядків містить list.txt. Коли ви маєте уявлення про те, як це триває, ви можете вирішити розділити його навпіл, вперед чи щось. Використання команди split -l Наприклад, розділіть її на 600 рядків.

split -l 600 list.txt

це створить кілька файлів з назвою xaa, xab, xac і так далі, залежить від того, як ви розділите його. Тепер, щоб "імпортувати" кожен список із цього файлу в команду rm, використовуйте це:

rm $(<xaa)
rm $(<xab)
rm $(<xac)

Вибачте за мою погану англійську.

Я стикався з цією проблемою кілька разів. Багато з рішень будуть працювати під керуваннямrm команда для кожного окремого файлу, який потрібно видалити. Це дуже неефективно:

find . -name "*.pdf" -print0 | xargs -0 rm -rf

Я закінчив писати сценарій python для видалення файлів на основі перших 4 символів у назві файлу:

import os
filedir = '/tmp/' #The directory you wish to run rm on 
filelist = (os.listdir(filedir)) #gets listing of all files in the specified dir
newlist = [] #Makes a blank list named newlist
for i in filelist: 
    if str((i)[:4]) not in newlist: #This makes sure that the elements are unique for newlist
        newlist.append((i)[:4]) #This takes only the first 4 charcters of the folder/filename and appends it to newlist
for i in newlist:
    if 'tmp' in i:  #If statment to look for tmp in the filename/dirname
        print ('Running command rm -rf '+str(filedir)+str(i)+'* : File Count: '+str(len(os.listdir(filedir)))) #Prints the command to be run and a total file count
        os.system('rm -rf '+str(filedir)+str(i)+'*') #Actual shell command
print ('DONE')

Це дуже добре працювало для мене. Я зміг очистити понад 2 мільйони тимчасових файлів у папці приблизно за 15 хвилин. Я прокоментував гугл із небагато коду, тому будь-хто з мінімальними знаннями пітона не може маніпулювати цим кодом.

І ще один:

cd  /path/to/pdf
printf "%s\0" *.[Pp][Dd][Ff] | xargs -0 rm

printfце вбудована оболонка, і наскільки я знаю, вона завжди була такою. Тепер, враховуючи, що printfце не командна оболонка (а вбудована), вона не підлягає "argument list too long ... " фатальна помилка.

Таким чином, ми можемо безпечно використовувати його з шаблонами глобальної оболонки, такими як *.[Pp][Dd][Ff], тоді ми передаємо його вихід для видалення ( rm) команди, через xargs, що гарантує, що він вміщує достатньо імен файлів у командному рядку, щоб не провалити rmкоманду, яка є оболонкою командування.

\0У printfподачах як нульовий роздільник імен файлів яким потім обробляються з допомогою xargsкоманди, використовуючи його ( -0) в якості роздільника, тому rmне терпить невдачу , коли є білі прогалини або інші спеціальні символи в іменах файлів.

Ви можете створити папку temp, перемістити всі файли та підпапки, які ви хочете зберегти у папку temp, потім видалити стару папку та перейменувати папку temp у стару папку, спробуйте цей приклад, поки ви не будете впевнені, що робити це в прямому ефірі:

mkdir testit
cd testit
mkdir big_folder tmp_folder
touch big_folder/file1.pdf
touch big_folder/file2.pdf
mv big_folder/file1,pdf tmp_folder/
rm -r big_folder
mv tmp_folder big_folder

rm -r big_folderне буде видалено всі файли в big_folderнезалежно від того , скільки. Ви просто повинні бути дуже обережними, спочатку у вас є всі файли / папки, які ви хочете зберегти, в цьому випадку це булоfile1.pdf

Щоб видалити всі *.pdfв каталозі/path/to/dir_with_pdf_files/

mkdir empty_dir        # Create temp empty dir

rsync -avh --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

Видалення конкретних файлів за rsyncдопомогою підстановки - це, мабуть, найшвидше рішення, якщо у вас мільйони файлів. І він подбає про помилку, яку ви отримуєте.

(Необов’язковий крок): DRY RUN. Щоб перевірити, що буде видалено без видалення. `

rsync -avhn --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

. . .

Клацніть поради та поради щодо rsync, щоб отримати більше хак-файлів rsync

Я виявив, що для надзвичайно великих списків файлів (> 1e6) ці відповіді були надто повільними. Ось рішення з використанням паралельної обробки в python. Я знаю, я знаю, це не Linux ... але нічого іншого тут не працювало.

(Це врятувало мене години)

# delete files
import os as os
import glob
import multiprocessing as mp

directory = r'your/directory'
os.chdir(directory)


files_names = [i for i in glob.glob('*.{}'.format('pdf'))]

# report errors from pool

def callback_error(result):
    print('error', result)

# delete file using system command
def delete_files(file_name):
     os.system('rm -rf ' + file_name)

pool = mp.Pool(12)  
# or use pool = mp.Pool(mp.cpu_count())


if __name__ == '__main__':
    for file_name in files_names:
        print(file_name)
        pool.apply_async(delete_files,[file_name], error_callback=callback_error)

Я зіткнувся з подібною проблемою, коли було мільйони непотрібних файлів журналів, створених програмою, яка заповнила всі вузли. Я вдався до "locate", отримав усі файли, "розташовані" d, у текстовий файл, а потім видаляв їх по черзі. Взяв час, але зробив роботу!

Трохи безпечніша версія, ніж використання xargs, також не рекурсивна: ls -p | grep -v '/$' | grep '\.pdf$' | while read file; do rm "$file"; done

Фільтрування наших каталогів тут трохи непотрібне, оскільки 'rm' все одно не видалить його, і його можна видалити для простоти, але навіщо запускати щось, що обов'язково поверне помилку?

Використовувати паралельний ( sudo apt install parallel) GNU дуже просто

Він запускає команди багатопотокові, де '{}' є переданим аргументом

Напр

ls /tmp/myfiles* | parallel 'rm {}'

Для видалення перших 100 файлів:

rm -rf 'ls | голова -100 '

Наведений нижче варіант видається простим для цієї проблеми. Я отримав цю інформацію з якоїсь іншої теми, але вона мені допомогла.

for file in /usr/op/data/Software/temp/application/openpages-storage/*; do
    cp "$file" /opt/sw/op-storage/
done

Просто запустіть вищевказану команду, і вона зробить завдання.