Як ЗНИЖИТИ за допомогою інструмента командного рядка для вилучення об'єкта git?

Я шукаю обгортку командного рядка для алгоритму DEFLATE.

У мене є файл (git blob), який стискається за допомогою DEFLATE, і я хочу його розпакувати. Здається, команда gzip не має можливості безпосередньо використовувати алгоритм DEFLATE, а не формат gzip.

В ідеалі я шукаю стандартний інструмент Unix / Linux, який може це зробити.

редагувати: Це результат, який я отримую при спробі використовувати gzip для своєї проблеми:

$ cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip

gzip: stdin: not in gzip format

ОНОВЛЕННЯ: Марк Адлер зауважив, що git-BLOB - це не необроблені потоки DEFLATE, а потоки zlib. Їх можна розпакувати за допомогою pigzінструменту, який постачається заздалегідь у декілька дистрибутивів Linux:

$ cat foo.txt 
file foo.txt!

$ git ls-files -s foo.txt
100644 7a79fc625cac65001fb127f468847ab93b5f8b19 0   foo.txt

$ pigz -d < .git/objects/7a/79fc625cac65001fb127f468847ab93b5f8b19 
blob 14file foo.txt!

Редагувати за допомогою kriegaex: Користувачі Git Bash для Windows помітять, що pigz недоступний за замовчуванням. Ви можете знайти скомпільовані 32/64-розрядні версії тут . Я спробував 64-розрядну версію, і вона чудово працює. Ви можете, наприклад, скопіювати pigz.exe безпосередньо c:\Program Files\Git\usr\binв, щоб розмістити його на шляху.

Моя оригінальна відповідь, збережена з історичних причин:

Якщо я правильно зрозумів натяк в статті Вікіпедії згадується Марк ван Kempen, ви можете використовувати puff.cз Zlib безпосередньо.

Це невеликий приклад:

#include <assert.h>
#include <string.h>
#include "puff.h"

int main( int argc, char **argv ) {
    unsigned char dest[ 5 ];
    unsigned long destlen = 4;
    const unsigned char *source = "\x4B\x2C\x4E\x49\x03\x00";
    unsigned long sourcelen = 6;    
    assert( puff( dest, &destlen, source, &sourcelen ) == 0 );
    dest[ 4 ] = '\0';
    assert( strcmp( dest, "asdf" ) == 0 );
}

Щось на зразок нижче буде надруковано необроблений вміст, включаючи заголовок "$ type $ length \ 0":

perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)' \
     < .git/objects/27/de0a1dd5a89a94990618632967a1c86a82d577

Це можна зробити за допомогою інструменту командного рядка OpenSSL:

openssl zlib -d < $IN > $OUT

На жаль, принаймні на Ubuntu, zlibпідкоманда відключена у конфігурації збірки за замовчуванням ( --no-zlib --no-zlib-dynamic), тому вам потрібно буде скомпілювати opensslз джерела, щоб використовувати її. Але це включено за замовчуванням у Arch, наприклад.

Редагувати: Здається, zlibкоманда також більше не підтримується в Arch. Ця відповідь може бути вже не корисною :(

пітонічний однокласник:

$> python -c "import zlib,sys;print \
           repr(zlib.decompress(sys.stdin.read()))" < $IN

Ви можете використовувати zlib-flate, наприклад:

cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 \
    | zlib-flate -uncompress; echo

Він є за замовчуванням на моїй машині, але це частина, qpdf - tools for and transforming and inspecting PDF filesякщо вам потрібно його встановити.

Я натиснув echoна кінець команди, оскільки легше читати результати таким чином.

Спробуйте виконати таку команду:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" | cat - .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip

Зовнішні інструменти не потрібні.

^{Джерело: Як розпакувати дані zlib в UNIX? на unix SE}

Ось однолінійний Ruby (cd .git / first та визначте шлях до будь-якого об’єкта):

ruby -rzlib -e 'print Zlib::Inflate.new.inflate(STDIN.read)' < ./74/c757240ec596063af8cd273ebd9f67073e1208

Мені набридло не мати хорошого рішення для цього, тому я поклав щось на NPM:

https://github.com/jezell/zlibber

Тепер можна просто конвеєр для надування / здуття команди.

Ось приклад розкриття об’єкта коміту в Python:

$ git show
commit 0972d7651ff85bedf464fba868c2ef434543916a
# all the junk in my commit...
$ python
>>> import zlib
>>> file = open(".git/objects/09/72d7651ff85bedf464fba868c2ef434543916a")
>>> data = file.read()
>>> print data
# binary garbage
>>> unzipped_data = zlib.decompress(data)
>>> print unzipped_data
# all the junk in my commit!

Те, що ви там побачите, майже ідентичне виводу 'git cat-file -p [хеш]', за винятком того, що команда не друкує заголовок ('коміт', а потім розмір вмісту та нульовий байт).

Схоже, Марк Адлер мав на увазі нас і написав приклад того, як це зробити: http://www.zlib.net/zpipe.c

Він компілюється лише із gcc -lzвстановленими заголовками zlib. Я скопіював отриманий двійковий файл у свій /usr/local/bin/zpipeпід час роботи з git-матеріалами.

Об'єкти git стискаються, zlibа не gzip, тому або за допомогою стиску , або за допомогою zlibкоманди git, тобто git cat-file -p <SHA1>для друку вмісту.

// save this as deflate.go

package main

import (
    "compress/zlib"
    "io"
    "os"
    "flag"
)

var infile = flag.String("f", "", "infile")

func main() {
    flag.Parse()
    file, _ := os.Open(*infile)

    r, err := zlib.NewReader(file)
    if err != nil {
        panic(err)
    }
    io.Copy(os.Stdout, r)

    r.Close()
}

$ go build deflate.go
$ ./deflate -f .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7

Див. Http://en.wikipedia.org/wiki/DEFLATE#Encoder_implementations

У ньому перелічено ряд програмних реалізацій, включаючи gzip, так що це повинно працювати. Ви спробували просто запустити gzip на файлі? Він не розпізнає формат автоматично?

Звідки ви знаєте, що він стискається за допомогою DEFLATE? Який інструмент був використаний для стиснення файлу?

Чому ви просто не використовуєте інструменти git для доступу до даних? Це повинно мати можливість читати будь-який об'єкт git:

git show --pretty=raw <object SHA-1>

Я знайшов це запитання, шукаючи обхід з помилкою з -textутилітою в новій версії hadoop dfsклієнта, який я щойно встановив. -textУтиліта працює як cat, за винятком того, якщо файл був прочитаний стискається, він прозоро розпаковує і виводить звичайний текст (звідси і назва).

Вже опубліковані відповіді, безумовно, були корисними, але деякі з них мають одну проблему при роботі з обсягами даних розміром Hadoop - вони зчитують все в пам'ять перед декомпресією.

Отже, ось мої варіації на Perlта Pythonвідповіді вище, які не мають цього обмеження:

Python:

hadoop fs -cat /path/to/example.deflate |
  python -c 'import zlib,sys;map(lambda b:sys.stdout.write(zlib.decompress(b)),iter(lambda:sys.stdin.read(4096),""))'

Perl:

hadoop fs -cat /path/to/example.deflate |
  perl -MCompress::Zlib -e 'print uncompress($buf) while sysread(STDIN,$buf,4096)'

Зверніть увагу на використання -catпідкоманди замість -text. Це для того, щоб моє робоче середовище не зламалося після того, як вони виправили помилку. Вибачення за читабельність версії python.

Об'єкти git - це потоки zlib (не необроблені дефляції). pigz розпакує ті, хто має -dzопцію.

Щоб поповнити колекцію, ось perl однокласники для спуску / накачування / сирого здуття / сирого надування.

Здути

perl -MIO::Compress::Deflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Compress::Deflate::deflate(\$in, \$out); print $out;'

Надувати

perl -MIO::Uncompress::Inflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Uncompress::Inflate::inflate(\$in, \$out); print $out;'

Сире спущення

perl -MIO::Compress::RawDeflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Compress::RawDeflate::rawdeflate(\$in, \$out); print $out;'

Сире надування

perl -MIO::Uncompress::RawInflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Uncompress::RawInflate::rawinflate(\$in, \$out); print $out;'

pigz може це зробити:

apt-get install pigz
unpigz -c .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7

const zlib = require("zlib");
const adler32 = require("adler32");
const data = "hello world~!";
const chksum = adler32.sum(new Buffer(data)).toString(16);
console.log("789c",zlib.deflateRawSync(data).toString("hex"),chksum);
// or
console.log(zlib.deflateSync(data).toString("hex"));