Чому не всі файли стискаються та як покращити рішення

У мене папка з приблизно 20K файлами. Файли називаються відповідно до шаблону xy_{\d1,5}_{\d4}\.abc, наприклад xy_12345_1234.abc. Я хотів стиснути перші 10K з них за допомогою цієї команди:

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

однак отриманий файл мав лише близько 2K файлів всередині.

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l однак повертає 10000, як і очікувалося.

Мені здається, я тут розумію щось базове ...

Я використовую zsh 5.0.2 для Linux Mint 17.1, GNU tar 1.27.1

Редагувати:

розгортання, як запропонував @Archemar, звучить дуже правдоподібно, остання вилка перезаписує отриманий файл - файл містить "хвіст" файлів - від 7773 до 9999 .

результат xargs --show-limit: Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

заміна -cз -rабо -uне працює в моєму випадку. Повідомлення про помилку булоtar: Cannot update compressed archives

використання обох -rі -uнедійсне і не працює зtar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

заміна -cна, -aздається, також недійсна і не вдається з тим самим, tar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' optionsхоча я не визнаю проблему azfі, Acdtruxздається, суперечить мені.

EDIT 2:

-T виглядає як хороший спосіб, я також знайшов приклад тут .

Однак коли я намагаюся

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - я отримав tar: option requires an argument -- 'T'

ну, можливо, назви файлів не досягають дьогтю? Але це схоже на них, тому що коли я страчу

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - я отримав tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

То чому тар не бачить назви файлів?

ви досягли ліміту xargs?

xargs --show-limit

спробуйте:

• створити фіктивний .tgzфайлtar czf xy_0_10000.tar.gz /hello/world
• замінити -czfна -Azf

коли xarg вдарив свою межу, він відкине команду, тому команда, якою ви ultimatly біг, була

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

оскільки кожен дьоготь понад попередній, ви можете отримати лише останній tar cзапуск.

Редагувати:

1) згідно man tarз unbuntu, -aі -r здається еквівалентним додаванням робиться (або) -A, --catenate, --concatenate

2) zip(не gzip) можна використовувати для додавання файлу, можливо, gzip варіант зробить трюк. (використання | xargs zip -qr xy_0_0000.zip, це призведе до поштового файлу, але не .tar.gz)

3) використовувати рішення @ rsanchez
Важливо правильно додати опцію tar, спробуйте

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

де - -T -середній варіант використання -Tта використання -в якості аргументу -T(ви могли б створити список файлів /tmp/foo.lst, а потім використовувати -T /tmp/foo.lst)

У цьому немає потреби xargs. Якщо ви відразу даєте tarв -T -опції він буде читати імена файлів зі стандартного вводу.

Наприклад:

... | tar -T - -czf xy_0_10000.tar.gz

Я хочу доповнити дві інші відповіді рішенням zsh , яке ні аналізує ls , ні потрібні xargs . Однак я зараз не впевнений, якщо це також страждає від обмеження довжини командного рядка.

1. Визначте функцію, яка генерує бажаний ключ сортування, змінивши $REPLY.

   sortkey() { REPLY=${REPLY[4,9]} }

   Це еквівалентно вашому sort -n -k1.4,1.9

2. Створіть масив $filesз іменами файлів, відсортованими за вказаною вище функцією:

   files=(*(o+sortkey))

   Це еквівалентно ls | sort -n -k1.4,1.9

3. Поверніть перші 10 000 файлів за допомогою

   ${files[0,9999]}

   Це еквівалентно ls | sort -n -k1.4,1.9 | head -n10000

Отже, у всьому цьому слід зробити трюк:

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}