Помилка "Аргумент занадто довгий" під час копіювання великої кількості файлів

Я використовую таку команду:

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

І я отримую помилку:

-bash: /bin/cp: Argument list too long

Я також спробував:

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

Все-таки є -bash: / bin / ls: Список аргументів занадто довгий

ЯКІ-небудь ідеї?

* .jpg розширюється до списку довше, ніж оболонка може обробляти. Спробуйте це замість цього

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

Існує максимальний ліміт, скільки може тривати список аргументів для системних команд - цей ліміт залежить від дистрибутива на основі значення, MAX_ARG_PAGESколи ядро ​​компілюється, і його неможливо змінити без перекомпіляції ядра.

Зважаючи на те, як обробка керується оболонкою оболонкою, це вплине на більшість системних команд, коли ви використовуєте той самий аргумент ("* .jpg"). Оскільки глобул обробляється спочатку оболонкою, а потім надсилається команді, команда:

cp -uf *.jpg /targetdir/

по суті те ж саме з оболонкою, як якщо б ви написали:

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

Якщо ви маєте справу з великою кількістю jpegs, це може стати некерованим дуже швидко. Залежно від вашого правила іменування та кількості файлів, які ви насправді повинні обробити, ви можете запустити команду cp одночасно в іншому підмножині каталогу:

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

Це може спрацювати, але те, наскільки ефективно це було б, базується на тому, наскільки добре ви можете розбити список файлів на зручні глобальні блоки.

Глобальний. Мені подобається це слово.

Деякі команди, такі як find та xargs , можуть обробляти великі списки файлів, не створюючи болісно розміщених списків аргументів.

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

Аргумент -exec буде запускати решту командного рядка один раз для кожного знайденого файлу пошуку , замінюючи {} кожним знайденим іменем файлу. Оскільки команда cp одночасно виконується лише в одному файлі, обмеження списку аргументів не є проблемою.

Це може бути повільним через необхідність обробляти кожен файл окремо. Використання xargs може забезпечити більш ефективне рішення:

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

xargs може взяти повний список файлів, наданий знахідкою , і розбити його на списки аргументів керованих розмірів та запустити cp у кожному з цих підсписок.

Звичайно, є також можливість просто перекомпілювати ваше ядро, встановити більшу величину для MAX_ARG_PAGES. Але перекомпіляція ядра - це більша робота, ніж я готовий пояснити у цій відповіді.

Це трапляється тому, що ваш підстановочний вираз ( *.jpg) перевищує обмеження довжини аргументу командного рядка при розширенні (можливо, тому, що у вас є багато файлів .jpg /home/ftpuser/public_html/ftparea).

Існує кілька способів обійти таке обмеження, як, наприклад, використання findабо xargs. Перегляньте цю статтю для отримання більш детальної інформації про те, як це зробити.

Як коментує GoldPseudo, існує обмеження кількості аргументів, які ви можете передати процесу, який ви нерестуєте. Дивіться його відповідь для гарного опису цього параметра.

Ви можете уникнути проблеми, не передавши процесу занадто багато аргументів, або зменшивши кількість аргументів, які ви передаєте.

Цикл для оболонки в оболонці, знайдіть, і ls, grep, і цикл деякий час роблять те ж саме в цій ситуації -

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

і

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

і

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

всі мають одну програму, яка зчитує каталог (сама оболонка, find і ls) та іншу програму, яка фактично приймає один аргумент за виконання та повторює весь список команд.

Тепер це буде повільно, тому що rm потрібно розщедрити та виконати для кожного файлу, що відповідає шаблону * .jpg.

Тут грає xargs. xargs приймає стандартне введення, і для кожного N (для freebsd це 5000 за замовчуванням) він породжує одну програму з N аргументів. xargs - це оптимізація вищезазначених циклів, тому що вам потрібно лише розщедрити програми 1 / N для ітерації над усім набором файлів, які читають аргументи з командного рядка.

Існує максимальна кількість аргументів, які можна вказати програмі, bash розширює * .jpg на безліч аргументів cp. Ви можете вирішити це за допомогою find, xargs або rsync тощо.

Погляньте тут про xargs та знайдіть

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

Глобус '*' розширюється до занадто багато імен. Використовуйте замість find / home / ftpuser / public_html -name '* .jpg'.

Використання +опції для find -execзначно пришвидшить операцію.

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

+Варіант вимагає , {}щоб бути останнім аргументом тому використання -t /your/destination(або --target-directory=/your/destination) опції cpробить його роботу.

Від man find:

команда -exec {} +

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

Правка : переставлені аргументи на cp

Це здається, що у вас *.jpgв каталозі занадто багато файлів, щоб одразу помістити їх у командний рядок. Ви можете спробувати:

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

Можливо, вам доведеться перевірити man xargsсвою реалізацію, щоб перевірити, чи -Iправильно встановлений комутатор для вашої системи.

Насправді ви справді маєте намір скопіювати ці файли в те саме місце, де вони вже є?

Перейдіть до папки

cd /home/ftpuser1/public_html/

і виконати наступне:

cp -R ftparea/ /home/ftpuser2/public_html/

Таким чином, якщо папка 'ftparea' має підпапки, це може бути негативним ефектом, якщо ви хочете, щоб з неї були лише файли '* .jpg', але якщо немає вкладених папок, такий підхід, безумовно, буде набагато швидшим, ніж використовуючи пошук і xargs