Як розпакувати дані zlib в UNIX?

Я створив дані, стиснуті zlib в Python, приблизно так:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(Або один вкладиш в оболонці: echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Тепер я хочу розпакувати дані в оболонці. Ні, zcatні uncompressробота:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Здається, я створив файл, схожий на gzip, але без заголовків. На жаль, я не бачу жодного варіанта розпакування таких необроблених даних на сторінці gzip man, а пакет zlib не містить жодної виконуваної утиліти.

Чи є утиліта для віджаття необроблених даних zlib?

Можна також розпакувати його, використовуючи стандартний скрипт оболонки + gzip , якщо у вас немає, або ви хочете використовувати openssl або інші інструменти.
Трюк полягає в тому, щоб додати gzip магічне число та метод стиснення до фактичних даних із zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Зміни:
@ d0sboots прокоментував: Для даних RAW Deflate потрібно додати ще 2 нульові байти:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

Цей Q на SO дає більше інформації про цей підхід. Відповідь там говорить про те, що є також 8-байтний нижній колонтитул.

Користувачі @ Vitali-Kushner та @ mark-bessey повідомили про успіх навіть із усіченими файлами, тож gzip-колонтитул здається не обов'язковим.

@ tobias-kienzler запропонував цю функцію для bashrc :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

Користувач @tino прокоментував нижче відповіді OpenSSL, але, думаю, це має бути окремим:

zlib-flate -uncompress < FILE

Я спробував це, і це спрацювало на мене.

zlib-flateможна знайти в пакеті qpdf(в Debian Squeeze та Fedora 23, згідно з коментарями в інших відповідях)

Я знайшов рішення (одне з можливих), воно використовує openssl :

$ openssl zlib -d < /tmp/data

або

$ openssl zlib -d -in /tmp/data

* ПРИМІТКА: функціональність zlib, очевидно, доступна в останніх версіях openssl> = 1.0.0 (OpenSSL має бути налаштований / побудований за допомогою zlib або zlib-динамичного параметра, останній за замовчуванням)

Я рекомендую pigz від Марка Адлера , співавтора бібліотеки стиснення zlib. Виконайте, pigzщоб побачити доступні прапори.

Ви помітите:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Ви можете скасувати скасування, використовуючи -dпрапор:

-d --decompress --uncompress Decompress the compressed input.

Припустимо, що файл називається "test":

• pigz -z test - створює стислий файл zlib з назвою test.zz
• pigz -d -z test.zz - перетворює test.zz у декомпресований тестовий файл

На OSX можна виконати brew install pigz

zlibреалізує стиснення, використовуване gzip, але не формат файлу. Натомість слід використовувати gzipмодуль , який сам використовує zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Це може зробити це:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Потім запустіть його так:

$ python expander.py data/*

Прикладна програма, zpipe.c знайдена тут самим Марком Адлером (постачається з розповсюдженням джерел бібліотеки zlib), дуже корисна для цих сценаріїв із необробленими даними zlib. Компіляція з cc -o zpipe zpipe.c -lzі розпаковувати: zpipe -d < raw.zlib > decompressed. Він також може робити стиснення без -dпрапора.

У macOS, який є повним UNIX-сумісним UNIX (офіційно сертифікований!), OpenSSLНемає zlibпідтримки, немає zlib-flateі, і коли перше рішення працює так само, як і всі рішення Python, для першого рішення потрібні дані ZIP, щоб вони були у файлі а всі інші рішення змушують вас створити сценарій Python.

Ось рішення на основі Perl, яке можна використовувати як однолінійний командний рядок, отримує свій вхід через трубу STDIN і працює з коробки із щойно встановленим macOS:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

Гарніший формат, сценарій Perl виглядає так:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Ви можете використовувати це для стискання зліб:

openssl enc -z -none -e < /file/to/deflate

І це спустіть:

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

працює для мене на fedora25