Перехоплення від кінця файлу до початку

У мене є файл з приблизно 30.000.000 рядків (Радіус-облік), і мені потрібно знайти останню відповідність заданому шаблону.

Команда:

tac accounting.log | grep $pattern

дає те, що мені потрібно, але це занадто повільно, тому що ОС повинна спочатку прочитати весь файл, а потім відправити в трубу.

Отже, мені потрібно щось швидко, яке може прочитати файл з останнього рядка до першого.

tacдопомагає лише в тому випадку, якщо ви також використовуєте grep -m 1(припускаючи GNU grep) grepзупинку після першого матчу:

tac accounting.log | grep -m 1 foo

Від man grep:

   -m NUM, --max-count=NUM
          Stop reading a file after NUM matching lines.  

У прикладі вашого запитання і те, tacі grepпотрібно обробляти весь файл, використовуючи tacце, безглуздо.

Тож, якщо ви не використовуєте grep -m, не використовуйте tacвзагалі, просто проаналізуйте результат, grepщоб отримати останню відповідність:

grep foo accounting.log | tail -n 1 

Іншим підходом було б використання Perl або будь-якої іншої мови сценаріїв. Наприклад (де $pattern=foo):

perl -ne '$l=$_ if /foo/; END{print $l}' file

або

awk '/foo/{k=$0}END{print k}' file

Причина чому

tac file | grep foo | head -n 1

не зупиняється на першому матчі через буферизацію.

Зазвичай head -n 1виходить після прочитання рядка. Тому grepслід отримати SIGPIPE та вихід, як тільки він напише свій другий рядок.

Але те, що трапляється, полягає в тому, що оскільки його вихід не збирається в термінал, grepвін буферизує його. Тобто він не пише його, поки не накопичиться достатньо (4096 байт у моєму тесті з GNU grep).

Це означає, що grepвін не вийде, перш ніж він записав 8192 байти даних, тому, ймовірно, досить багато рядків.

За допомогою GNU grepви можете змусити його вийти швидше, скориставшись --line-bufferedним, щоб записувати рядки, як тільки вони будуть знайдені, незалежно від того, переходить він до терміналу чи ні. Тож grepби вийти на другий рядок, який він знайде.

Але з GNU у grepбудь-якому випадку, ви можете використовувати -m 1замість цього, як показав @terdon, що краще, оскільки воно закінчується під час першого матчу.

Якщо ваш grepне GNU grep, ви можете використовувати sedабо awkзамість цього. Але tac будучи командою GNU, я сумніваюся, ви знайдете систему, tacде grepнемає GNU grep.

tac file | sed "/$pattern/!d;q"                             # BRE
tac file | P=$pattern awk '$0 ~ ENVIRON["P"] {print; exit}' # ERE

Деякі системи мають tail -rробити те саме, що tacробить GNU .

Зауважте, що для звичайних (доступних для пошуку) файлів tacі tail -rефективні, оскільки вони читають файли назад, вони не просто читають файл повністю в пам'яті перед тим, як надрукувати його назад (як би підходив @ slm або tacна нерегулярні файли) .

У системах, де немає tacні tail -rдоступних, єдиними варіантами є реалізація зворотного читання вручну з такими мовами програмування, як perlі використання:

grep -e "$pattern" file | tail -n1

Або:

sed "/$pattern/h;$!d;g" file

Але це означає знайти всі сірники і надрукувати лише останні.

Ось можливе рішення, яке знайде місце першого появи шаблону з останнього:

tac -s "$pattern" -r accounting.log | head -n 1

Для цього використовують перемикачі -sта -rперемикачі tacяких є наступними:

-s, --separator=STRING
use STRING as the separator instead of newline

-r, --regex
interpret the separator as a regular expression

Використання sed

Показано кілька альтернативних методів для точної відповіді @ Тердона, використовуючи sed:

$ sed '1!G;h;$!d' file | grep -m 1 $pattern
$ sed -n '1!G;h;$p' file | grep -m 1 $pattern

Приклади

$ seq 10 > file

$ sed '1!G;h;$!d' file | grep -m 1 5
5

$ sed -n '1!G;h;$p' file | grep -m 1 5
5

Використання Perl

Як бонус ось запам'ятати трохи простіші позначення в Perl:

$ perl -e 'print reverse <>' file | grep -m 1 $pattern

Приклад

$ perl -e 'print reverse <>' file | grep -m 1 5
5