Використання багатоядерного для стиснення / декомпресії tar / gzip / bzip

Я звичайно стискаю, використовуючи tar zcvfта декомпресуючи, використовуючи tar zxvf(використовуючи gzip за звичкою).

Нещодавно я отримав чотирьохядерний процесор з гіперточенням, тому у мене є 8 логічних ядер, і я помічаю, що багато ядер не використовуються під час стиснення / декомпресії.

Чи є якийсь спосіб я використати невикористані ядра, щоб зробити це швидше?

Ви можете використовувати pigz замість gzip, який робить компресію gzip на декількох ядрах. Замість використання опції -z ви передаваєте її через pigz:

tar cf - paths-to-archive | pigz > archive.tar.gz

За замовчуванням pigz використовує кількість доступних ядер, або вісім, якщо він не може цього запитувати. Ви можете попросити більше з -pn, наприклад -p 32. pigz має ті ж варіанти, що і gzip, тому ви можете запитати кращу компресію з -9. Напр

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Ви також можете використовувати прапор смоли "--use -press-program =", щоб вказати tar, яку програму стиснення використовувати.

Наприклад, використовуйте:

tar -c --use-compress-program=pigz -f tar.file dir_to_zip 

Загальний підхід

Є можливість для tarпрограми:

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

Можна використовувати багатопоточну версію архіватора або утиліту компресора.

Найбільш популярні багатопотокові архіватори - pigz (замість gzip) та pbzip2 (замість bzip2). Наприклад:

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

Архівник повинен прийняти -d. Якщо у вашій утиліті заміни немає цього параметра та / або вам потрібно вказати додаткові параметри, тоді використовуйте труби (при необхідності додайте параметри):

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

Вхід і вихід однониткових і багатопотокових сумісні. Ви можете стискати, використовуючи багатопотокову версію та розпаковувати, використовуючи версію з однопотоковою стрічкою та навпаки.

p7zip

Для стиснення p7zip вам потрібен невеликий скрипт оболонки, наприклад:

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

Збережіть це як 7zhelper.sh. Ось приклад використання:

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

Що стосується багатопотокової підтримки XZ. Якщо ви працюєте з версією XZ Utils версії 5.2.0 або вище, ви можете використовувати кілька ядер для стиснення, встановивши -Tабо --threadsдо відповідного значення за допомогою змінної середовища XZ_DEFAULTS (наприклад XZ_DEFAULTS="-T 0").

Це фрагмент людини для версії 5.1.0 alpha:

Багатопотокове стиснення та декомпресія ще не реалізовані, тому ця можливість наразі не має ефекту.

Однак це не допоможе для декомпресії файлів, які також не були стиснуті з увімкненою нарізкою. Від людини до версії 5.2.2:

Декомпресія нитки ще не здійснена. Він буде працювати лише над файлами, які містять кілька блоків з інформацією про розмір у заголовках блоків. Усі файли, стиснуті в багатопотоковому режимі, відповідають цій умові, але файли, стиснуті в однопотоковому режимі, навіть не використовуються --block-size = size.

Перекомпіляція із заміною

Якщо ви будуєте дьоготь з джерел, тоді ви можете перекомпілювати параметри

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Після перекомпіляції tar за допомогою цих параметрів ви можете перевірити вихід довідки tar:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Ви можете використовувати ярлик -Iдля --use-compress-programперемикання смоли та викликати pbzip2стиснення bzip2 на декількох ядрах:

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Якщо ви хочете отримати більшу гнучкість з назви файлів і параметрами стиснення, ви можете використовувати:

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

Крок 1: find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

Ця команда шукатиме файли, які ви хочете заархівувати, у цьому випадку /my/path/*.sqlта /my/path/*.log. Додайте скільки -o -name "pattern"завгодно.

-execвиконає наступну команду, використовуючи результати find:tar

Крок 2: tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transform- простий параметр заміни рядків. Він буде викреслювати шлях файлів з архіву, щоб корінь tarball став поточним каталогом при вилученні. Зауважте, що ви не можете використовувати -Cопцію для зміни каталогу, оскільки ви втратите переваги find: всі файли каталогу будуть включені.

-Pвказує tarвикористовувати абсолютні шляхи, тому не викликає попередження "Видалення провідних` / "з імен учасників". Ведучий '/' з видалити --transformбудь-яким чином.

-cf -говорить tarвикористовувати ім'я тарбола, яке ми вкажемо пізніше

{} +використовує всі файли, які були findзнайдені раніше

Крок 3: pigz

pigz -9 -p 4

Використовуйте скільки завгодно параметрів. У цьому випадку -9рівень стиснення і -p 4це кількість ядер, присвячених стисненню. Якщо ви запускаєте це на великому завантаженому веб-сервері, ви, ймовірно, не хочете використовувати всі доступні ядра.

Крок 4: ім'я архіву

> myarchive.tar.gz

Нарешті.

Порівняно новіший (де) інструмент стиснення, який ви хочете розглянути, - це zstandard . Це прекрасна робота з використання запасних сердечників, і вона зробила великі компроміси, коли йдеться про коефіцієнт стиснення проти (де) часу стиснення. Він також може налаштовуватися в залежності від потреб у вашому співвідношенні стиснення.