Як переглядати рекурсивно через файли .gz?

Я використовую сценарій, щоб регулярно завантажувати свої gmail-повідомлення, які стискають сировину .eml у файли .gz. Сценарій створює папку на кожен день, а потім стискає кожне повідомлення у свій власний файл.

Я хотів би спосіб пошуку в цьому архіві "рядка".

Сам Греп, здається, не робить цього. Я також спробував SearchMonkey.

Якщо ви хочете рекурсивно виконувати всі файли .eml.gz у поточному каталозі, ви можете використовувати:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Ви повинні уникнути першого, *щоб оболонка не інтерпретувала його. -print0повідомляє find для друку нульового символу після кожного знайденого файла; xargs -0читає зі стандартного вводу та виконує команду після нього для кожного файлу; zgrepпрацює як grep, але спочатку розпаковує файл.

Тут багато плутанини, тому що існує не одна zgrep. У мене в системі дві версії, zgrepз gzipі zgrepз zutils. Перший - це лише сценарій обгортки, який дзвонить gzip -cdfq. Він не підтримує -r, --recursiveкомутатор. ¹
Остання являє собою c++програму , і вона підтримує в -r, --recursiveопції.
Запуск zgrep --version | head -n 1виявить, який з них (за наявності) є типовим:

zgrep (gzip) 1.6

це сценарій обгортки,

zgrep (zutils) 1.3

є cppвиконуваним файлом.
Якщо у вас є останні, ви можете запустити:

zgrep 'pattern' -r --format=gz /path/to/dir

У будь-якому випадку, як було запропоновано, find+ zgrepбуде однаково добре працювати з будь-якою з версій zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Якщо zgrepвідсутня у вашій системі (дуже малоймовірно), ви можете спробувати:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

але є головний мінус: ви не знатимете, де збігаються, оскільки ім'я файлу не призначається для відповідних рядків.

^{1: тому що це було б проблематично}

agє варіантом grep, з деякими приємними додатковими можливостями.

• має -z варіант для стислих файлів,
• має багато функцій ack.
• це швидко

Тому:

ag -r -z your-pattern-goes-here   folder

Якщо не встановлено,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

Сама рекурсія проста:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Однак для стислих файлів вам потрібно щось на зразок:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory має бути батьківським каталогом, який містить підкаталоги на кожен день.

zgrepце очевидна відповідь, але, на жаль, він не підтримує -rпрапор. Від man zgrep:

Ці параметри grep призведуть до припинення згрепу кодом помилки: (- [d rR zZ] | --di * | --exc * | --inc * | --rec * | --nu *).

Якщо у вашій системі є zgrep, ви можете просто

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Якщо у вашій системі немає zgrep, ви можете скористатися командою find, щоб запустити zcat та grep проти кожного файлу так:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "рядок" ./*/*.eml.gz

xzgrep - похідне від утиліти zgrep (менше / bin / xzgrep)

На сторінці Man:

xzgrep викликає grep (1) у файлах, які можуть бути або нестисненими, або стисненими за допомогою xz (1), lzma (1), gzip (1), bzip2 (1) або lzop (1). Усі вказані параметри передаються безпосередньо grep (1).

-друкую відповідне ім'я файлу

-R для рекурсії не буде працювати, оскільки це спеціально заборонено в сценарії, однак просте поглинання оболонки повинно нас туди дістати

./*/*.eml.gz

від відносного шляху, де ./today/sample.eml.gz збігаються на всіх примірниках, які на один рівень нижче нашого відносного положення в оболонці, що закінчується на ".eml.gz"