Як "перехопити" безперервний потік?

Чи можливо це використовувати grepв безперервному потоці?

Що я маю на увазі, це свого роду tail -f <file>команда, але з grepвиведенням, щоб зберегти лише ті рядки, які мене цікавлять.

Я намагався, tail -f <file> | grep patternале здається, що grepйого можна виконати лише один раз, коли tailзакінчується, тобто ніколи.

Увімкніть grepрежим буферизації лінії при використанні BSD grep (FreeBSD, Mac OS X тощо)

tail -f file | grep --line-buffered my_pattern

Вам не потрібно робити це для GNU grep (використовується майже на будь-якому Linux), оскільки воно за замовчуванням змине (YMMV для інших подібних Unix, таких як SmartOS, AIX або QNX).

Я tail -f <file> | grep <pattern>весь час використовую.

Він зачекатиме, поки греп не змине, а не поки не закінчиться (я використовую Ubuntu).

Я думаю, що ваша проблема полягає в тому, що grep використовує деяку вихідну буферизацію. Спробуйте

tail -f file | stdbuf -o0 grep my_pattern

він встановить вихідний режим буферизації grep на небуферизований.

Якщо ви хочете знайти збіги у всьому файлі (а не лише в хвостику), і ви хочете, щоб він сидів і чекав будь-яких нових збігів, це добре працює:

tail -c +0 -f <file> | grep --line-buffered <pattern>

-c +0Прапор говорить про те , що вихід повинен починатися 0байт ( -c) з самого початку ( +) файлу.

У більшості випадків ви можете, tail -f /var/log/some.log |grep fooі це спрацює просто чудово.

Якщо вам потрібно скористатися декількома грейпами для запущеного файлу журналу, і ви виявите, що у вас немає виводу, можливо, вам доведеться вставити --line-bufferedперемикач у свій середні грепи, наприклад:

tail -f /var/log/some.log | grep --line-buffered foo | grep bar

Ви можете розглянути цю відповідь як вдосконалення .. зазвичай я використовую

tail -F <fileName> | grep --line-buffered  <pattern> -A 3 -B 5

-F краще в разі обертання файлу (-f не працюватиме належним чином, якщо файл обертається)

-A і -B корисно отримувати рядки безпосередньо до і після появи шаблону .. ці блоки з’являться між штриховими роздільниками рядків

Але для мене я вважаю за краще робити наступне

tail -F <file> | less

це дуже корисно, якщо ви хочете шукати все потокові журнали. Я маю на увазі повернутися назад і вперед і глибоко дивитися

Я не бачив, щоб хтось пропонував моє звичайне звернення для цього:

less +F <file>
ctrl + c
/<search term>
<enter>
shift + f

Я вважаю за краще це, тому що ви можете використовувати ctrl + cдля зупинки та навігації по файлу коли завгодно, а потім просто натисніть, shift + fщоб повернутися до прямого потокового пошуку.

sed буде кращим вибором ( редактор потоку )

tail -n0 -f <file> | sed -n '/search string/p'

а потім, якщо ви хочете, щоб команда хвоста завершилася, як тільки ви знайшли певну рядок:

tail --pid=$(($BASHPID+1)) -n0 -f <file> | sed -n '/search string/{p; q}'

Очевидно, що башизм: $ BASHPID буде ідентифікатором процесу хвостової команди. Команда sed є наступною за хвостом у трубі, тож id процесу обробки буде $ BASHPID + 1.

Так, це насправді буде добре. Grepі більшість команд Unix працюють на потоках по одному рядку. Кожен рядок, який виходить із хвоста, буде проаналізований та переданий, якщо він відповідає.

Ця команда працює для мене (Suse):

mail-srv:/var/log # tail -f /var/log/mail.info |grep --line-buffered LOGIN  >> logins_to_mail

збір входів на поштову службу

вам точно не вдасться

tail -f /var/log/foo.log |grep --line-buffered string2search

коли ви використовуєте "colortail" як псевдонім для хвоста, наприклад. в баш

alias tail='colortail -n 30'

Ви можете перевірити псевдонім, якщо він видає щось на зразок псевдоніма хвоста colortail -n 30 . то ви маєте свого винуватця :)

Рішення:

видалити псевдонім за допомогою

unalias tail

переконайтеся, що ви використовуєте "справжній" двійковий код хвоста за допомогою цієї команди

type tail

який повинен вивести щось на кшталт:

tail is /usr/bin/tail

і тоді ви можете запустити свою команду

tail -f foo.log |grep --line-buffered something

Удачі.

Використовуйте awk (іншу велику утиліту bash) замість grep там, де у вас немає варіанту буферизації ліній! Він буде постійно передавати ваші дані з хвоста.

ось як ви використовуєте grep

tail -f <file> | grep pattern

Ось як би ви використовували awk

tail -f <file> | awk '/pattern/{print $0}'