Чи є інструмент, який прозоро поєднує zcat та cat?

Під час обробки файлів журналів деякі закінчуються як gzipped файли завдяки, logrotateа інші - ні. Тож коли ви спробуєте щось подібне:

$ zcat *

ви закінчуєте командний рядок, як, zcat xyz.log xyz.log.1 xyz.log.2.gz xyz.log.3.gzа потім:

gzip: xyz.log: not in gzip format

Чи є інструмент, який буде приймати магічні байти, подібні до того, як це fileпрацює, і використовувати zcatабо catзалежно від результату, щоб я міг подати висновок, grepнаприклад?

NB: Я знаю, що можу це сценарій, але я запитую, чи є вже інструмент там.

zless

Здається, шкода zcat, оскільки у libz є API, який підтримує зчитування з стислих та нестиснених файлів прозоро. Але на сторінці написано, що zcatце рівнозначно gunzip -c.

Спробуйте -fабо --force:

zcat -f -- *

Так як zcatце просто простий сценарій, який працює

exec gzip -cd "$@"

з довгими варіантами, які перекладалися б на

exec gzip --stdout --decompress "$@"

і, відповідно до man gzip(підкресли мою):

-f - сила
      Примушуйте стискати чи декомпресувати, навіть якщо файл має кілька посилань
      або відповідний файл вже існує, або якщо стислі дані
      читати з або записувати в термінал. Якщо вхідні дані не у форматі
      розпізнається gzip, і якщо також вказано параметр --stdout, скопіюйте
      вхідні дані без зміни стандартного виводу: нехай zcat поводиться як кіт .

Також:

так що я можу подати висновок, grepнаприклад

Ви можете використовувати zgrepдля цього:

zgrep -- PATTERN *

хоча дивіться коментар Стефана нижче.

Я використовую точно з тією ж метою:

{ cat /var/log/messages ; zcat /var/log/messages*.gz ; }| grep something | grep "something else" ....

Існує заміна заміни для ztools (zcat, zgrep, ..) під назвою zutils, яка об'єднує всі інструменти декомпресії незалежно від бекенда. Тож з тією ж командою ви можете прозоро читати файли lzma, gzipped, xz.

Він доступний у дебіанських хрипких або новіших, ймовірно, також у redhat / centos.

Сторінка проекту знаходиться тут nongnu.org

Повідомлення в блозі з поясненням використання утиліти тут ( noone.org )

Це чудово працює в RHEL 5.x, де zcat є двійковим. Він виходить з ладу в RHEL 6.x (і Ubuntu 12.x), де zcat є скриптом. Це звично працювало.

Я б не використовував zcat взагалі, але zgrep не буде належним чином обробляти нестиснені файли.

Відкриває як стиснене, так і нестиснене, у хронологічному порядку.

ls -v syslog* | tac | xargs zcat -f | less

Що з обгорткою?

$ cat xcat.sh 
#!/bin/bash

for i in $@;do 
        [ ! -z "$(file -i $i | grep "gzip")" ] && zcat $i || cat $i
done

$ bash xcat.sh plain.txt gzipped_text.gz

Скопіюйте та вставте (або покладіть її в кінці ~/.bashrcфайлу) цю функцію bash :

logs() { zcat -f $(ls -rv "$1"*) | less; }

Тепер ви можете набрати наприклад logs /var/log/syslogабо logs /var/log/nginx/access.logпереглянути всі повідомлення журналу syslog або nginx від найдавніших до найновіших з меншою кількістю .

Ви можете шукати що - то друкувати /somethingі натиснувши nна наступний .

Існує прекрасний сценарій Perl, який саме це робить. Це logresolvemerge.pl з проекту awstats: http://www.awstats.org/docs/awstats_tools.html

Logresolvemerge дозволяє отримати один унікальний вихідний файл журналу, відсортований за датою, побудований з конкретних джерел:

Спираючись на відповідь @ Ryan, наступне отримає отримання всіх "прокатаних" файлів, відсортованих за алфавітом, потім отримайте поточний файл, розпакуйте їх, якщо потрібно, та lessїх:

cat <(ls mylog.log-* | sort) <(ls mylog.log) | xargs zcat -f | less

або якщо ви хочете отримати їх все як безперервний потік, ви можете tailїх і, за бажанням, передати їх іншому процесу

cat <(ls mylog.log-* | sort | xargs zcat -f) <(tail -f -n +0 mylog.log)

Слід зазначити, що це розроблено для журналів, які щодня обертаються з датою, доданою до кінця файлу. Якщо ваш журнал у нас інший формат, вам доведеться змінити першу частину catзаяви, щоб вмістити її.