Зворотне стискання

Скажімо, у мене дійсно великий текстовий файл (близько 10 000 000 рядків). Мені потрібно grepце з кінця і зберегти результат у файл. Який найефективніший спосіб виконати завдання?

tac / grep Рішення

tac file | grep whatever

Або трохи ефективніше:

grep whatever < <(tac file)

Час з файлом 500MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

sed / grep Рішення:

sed '1!G;h;$!d' | grep whatever

Час з файлом 500MB: Аборт через 10+ хвилин.

awk / grep Рішення:

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Час з файлом 500MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

perl / grep Рішення:

perl -e 'print reverse <>' file | grep whatever

Час з файлом 500MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Це рішення може допомогти:

tac file_name | grep -e expression

Цей виходить, як тільки знайде перший збіг:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Далі наведено 5 рядків до та після перших двох матчів:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Пам’ятайте, що не використовуйте -i(нечутливий до регістру), якщо вам не доведеться, оскільки це уповільнить греп.

Якщо ви знаєте точний рядок, який ви шукаєте, тоді врахуйте fgrep(Fixed String)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Якщо файл дійсно великий, не може поміститися в пам'яті, я буду використовувати Perlз File :: ReadBackwards модуль з CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Тоді:

$ ./reverse-grep.pl pattern file