Чи можливо стиснути дуже великий файл (~ 30 Гб) за допомогою gzip? Якщо так, то які команди, перемикачі та параметри слід використовувати?
Або є інша програма (бажано, яка є загальнодоступною в дистрибутивах Ubuntu), яку я можу використовувати для стиснення / перетягування дуже великих файлів? Чи маєте ви з цим досвід?
Відповіді:
AFAIK немає обмеження розміру gzip- принаймні, не 30 Гб. Звичайно, вам потрібно простір для zipped-файлу на диску, обидві версії будуть там одночасно під час стискання.
bzip2 стискає файли (не тільки великі :-) краще, але це (іноді й набагато) повільніше.
pbzipтакож - що буде використовувати більше одного ядра процесора. Але все-таки шлях повільніше, ніж gzip.
pbzip2
якщо вам потрібна хороша швидкість стиснення, ви можете спробувати lzma. це швидше і ефективніше bzip2 і може бути швидше навіть ніж gzip (я цього не знаю точно)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaзараз застаріла на користь xz. Той самий алгоритм, дещо інший (покращений?) Формат файлу, обгорнутий навколо нього. LZMA повільніше, ніж gzip, але з максимальною швидкістю все ще досить добре стискається на дуже надмірних речей, таких як дані JSON. ( xz -0)
Формат gzip представляє модуль розміру вхідного сигналу 2 ^ 32, тому
--listпараметр повідомляє про неправильні розміри стислих розмірів та коефіцієнти стиснення для нестиснених файлів 4 Гб і більше.
Отже, візьміть bzip2(v1.0.2 і вище) або xz.
XZ, встановлений на найнижчу компресію, цілком може бити gzip для швидкості та стиснення.
pxz -9ve - <in >out.xzі ви запечете курку на своєму ПК, але результат буде приблизно 60% від gzip результату. Для цього вам потрібно близько 7 ГБ.