Перетворення файлів gzip в bzip2 ефективно

У мене є маса файлів gzip, які мені доводиться час від часу перетворювати на bzip2. В даний час я використовую скрипт оболонки, який просто 'gunzip кожен файл, а потім' bzip2. Хоча це працює, для завершення потрібно багато часу.

Чи можна зробити цей процес більш ефективним? Я готовий здійснити занурення і вивчити вихідні коди gunzip та bzip2, якщо потрібно, але я просто хочу бути впевненим у виграші. Чи є надія на підвищення ефективності процесу?

Це питання було задано дуже давно, коли pbzip2 або не був доступний, або не міг стискатися зі stdin, але тепер ви можете паралелізувати як стискання, так і стиснення, використовуючи паралелі та pbzip2 (замість bzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

що значно швидше, ніж використання bzip2 .

Замість того, щоб gunzip в один крок і bzip2 в іншому, мені цікаво, чи не було б більш ефективно використовувати труби. Щось на зразокgunzip --to-stdout foo.gz | bzip2 > foo.bz2

Я думаю з двома або більше процесорами, це, безумовно, буде швидше. Але, можливо, навіть лише з одним ядром. Я ганебно признаюсь, що не пробував цього.

Паралель GNU ( http://www.gnu.org/software/parallel ) може бути варіантом, якщо у вас є кілька ядер (або навіть декілька машин):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Прочитайте сторінку підручника / man для детальної інформації та параметрів.

Що ви зараз робите, це ваша найкраща ставка. Немає інструменту перетворення, і спроба bzip2 вже gzipped файл насправді не є варіантом, оскільки це часто має небажані ефекти. Оскільки алгоритм інший, перетворення передбачає отримання вихідних даних незалежно. Якщо, звичайно, gzipping був кроком у процесі bzip2, в якому це, на жаль, не є.

Інколи мені потрібно робити те ж саме з файлами журналів. Я починаю з найменших файлів * .gz спочатку ( ls -rS), gunzip, а потім і bzip2 окремо. Я не знаю, чи можна направити вихід gunzip безпосередньо на вхід bzip2. Команда bzip2 настільки повільніше при стисненні, ніж gunzip знаходиться при декомпресії, що може зайняти пам'ять і поміняти місця на хості.

Вдосконалення чи пропозиції вітаються. Ось мій один вкладиш:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Якщо у вас є декілька, перегляньте статтю LJ з гарним сценарієм оболонки.

http://linuxgazette.net/123/bechtel.html

7zip покращує стиснення та є багатопоточним.

Просто довелося це зробити кілька хвилин тому:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Де rezipбуло б визначено як:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

За бажанням, ви також можете зробити його багатопотоковим, скориставшись -Pопцією з xargs, але будьте обережні з цим. (Почніть низько!)