Попередження позначки часу до кожного рядка виводу з команди

Я хочу додати часову позначку до кожного рядка виводу з команди. Наприклад:

foo
bar
baz

став би

[2011-12-13 12:20:38] foo
[2011-12-13 12:21:32] bar
[2011-12-13 12:22:20] baz

... де час з префіксом - це час, коли друкується рядок. Як я можу цього досягти?

moreutils включає, tsщо робить це досить непогано:

command | ts '[%Y-%m-%d %H:%M:%S]'

Це також виключає необхідність циклу, кожен рядок виводу буде надітий часовою позначкою.

$ echo -e "foo\nbar\nbaz" | ts '[%Y-%m-%d %H:%M:%S]'
[2011-12-13 22:07:03] foo
[2011-12-13 22:07:03] bar
[2011-12-13 22:07:03] baz

Ви хочете знати, коли цей сервер повернувся, ви перезапустили? Просто біжіть ping | ts, проблема вирішена: D.

По-перше, якщо ви очікуєте, що ці часові позначки насправді представляють подію, майте на увазі, що оскільки багато програм виконують буферизацію ліній (деякі більш агресивно, ніж інші), важливо думати про це якнайшвидше часу, який матиме початковий рядок було надруковано, а не мітка часу дії, що відбувається.

Ви також можете перевірити, що у вашої команди вже немає вбудованої функції, присвяченої цьому. Наприклад, ping -Dіснує в деяких pingверсіях і друкує час після епохи Unix перед кожним рядком. Якщо ваша команда не містить власного методу, однак є кілька методів та інструментів, серед яких можна застосувати:

Оболонка POSIX

Майте на увазі, що оскільки багато оболонок зберігають свої рядки внутрішньо як cstrings, якщо вхід містить нульовий символ ( \0), це може призвести до того, що рядок закінчується передчасно.

command | while IFS= read -r line; do printf '[%s] %s\n' "$(date '+%Y-%m-%d %H:%M:%S')" "$line"; done

GNU awk

command | gawk '{ print strftime("[%Y-%m-%d %H:%M:%S]"), $0 }'

Perl

command | perl -pe 'use POSIX strftime; print strftime "[%Y-%m-%d %H:%M:%S] ", localtime'

Пітон

command | python -c 'import sys,time;sys.stdout.write("".join(( " ".join((time.strftime("[%Y-%m-%d %H:%M:%S]", time.localtime()), line)) for line in sys.stdin )))'

Рубін

command | ruby -pe 'print Time.now.strftime("[%Y-%m-%d %H:%M:%S] ")'

Для лінійного вимірювання дельти спробуйте гномон .

Це утиліта командного рядка, схожа на ts moreutils, для подання інформації про часові позначки до стандартного виводу іншої команди. Корисно для тривалих процесів, де ви хочете отримати історичний запис того, що триває так довго.

Передача нічого до gnomon додасть часову позначку до кожного рядка, вказуючи, наскільки довгий цей рядок був останнім рядком у буфері - тобто, скільки часу знадобилося, щоб з'явився наступний рядок. За замовчуванням gnomon відображатиме секунди, що минули між кожним рядком, але це можна настроювати.

Повідомлення Райана дає цікаву ідею, однак воно провалюється в кількох аспектах. Під час тестування tail -f /var/log/syslog | xargs -L 1 echo $(date +'[%Y-%m-%d %H:%M:%S]') $1 я помітив, що часова марка залишається такою ж, навіть якщо stdoutз’являється пізніше з різницею в секундах один від одного. Розглянемо цей вихід:

[2016-07-14 01:44:25] Jul 14 01:44:32 eagle dhclient[16091]: DHCPREQUEST of 192.168.0.78 on wlan7 to 255.255.255.255 port 67 (xid=0x411b8c21)
[2016-07-14 01:44:25] Jul 14 01:44:34 eagle avahi-daemon[740]: Joining mDNS multicast group on interface wlan7.IPv6 with address fe80::d253:49ff:fe3d:53fd.
[2016-07-14 01:44:25] Jul 14 01:44:34 eagle avahi-daemon[740]: New relevant interface wlan7.IPv6 for mDNS.

Моє запропоноване рішення є подібним, однак забезпечує належне відмітку часу і використовує дещо більш портативний printf, ніжecho

| xargs -L 1 bash  -c 'printf "[%s] %s\n" "$(date +%Y-%m-%d\ %H:%M:%S )" "$*" ' bash

Чому bash -c '...' bash? Тому що через -cопцію, перший аргумент присвоюється $0і не відображатиметься у висновку. Зверніться до сторінки керівництва вашої оболонки для правильного опису-c

Тестування цього рішення tail -f /var/log/syslogта (як ви, напевно, могли здогадатися), відключення та підключення до мого Wi-Fi, показало належну мітку часу, яку надають dateі syslogповідомлення, і повідомлення

Баш може бути замінений будь-якою оболонкою, що нагадує бурш, може бути виконана з будь-якою kshабо dash, принаймні, з тими, що мають -cможливість.

Потенційні питання:

Рішення вимагає наявності xargs, яке доступне на POSIX-сумісних системах, тому більшість Unix-подібних систем слід охоплювати. Очевидно, не буде працювати, якщо ваша система не сумісна з POSIX або її немаєGNU findutils

Я хотів би прокоментувати вище, але не можу, репутаційно. У будь-якому випадку, зразок Perl, описаний вище, можна розблокувати наступним чином:

command | perl -pe 'use POSIX strftime; 
                    $|=1; 
                    select((select(STDERR), $| = 1)[0]);
                    print strftime "[%Y-%m-%d %H:%M:%S] ", localtime'

Перший '$ |' розблокує STDOUT. Другий встановлює stderr як поточний вихідний канал за замовчуванням і розвантажує його. Оскільки select повертає початкові параметри $ |, загортаючи виділення всередині вибору, ми також скидаємо $ | за замовчуванням, STDOUT.

І так, ви можете вирізати пасту так, як є. Я багаторазово виклав це для розбірливості.

І якщо ви дійсно хочете отримати точну інформацію (і у вас встановлений час :: наймає ):

command | perl -pe 'use POSIX strftime; use Time::HiRes gettimeofday;
                    $|=1; 
                    select((select(STDERR), $| = 1)[0]);
                    ($s,$ms)=gettimeofday();
                    $ms=substr(q(000000) . $ms,-6);
                    print strftime "[%Y-%m-%d %H:%M:%S.$ms]", localtime($s)'

Більшість відповідей пропонують використовувати date, але це досить повільно. Якщо ваша версія bash більша за 4.2.0, краще printfзамість цього використовувати , це bash вбудований. Якщо вам потрібно підтримувати застарілі версії bash, ви можете створити logфункцію, що залежить від версії bash:

TIMESTAMP_FORMAT='%Y-%m-%dT%H:%M:%S'
# Bash version in numbers like 4003046, where 4 is major version, 003 is minor, 046 is subminor.
printf -v BV '%d%03d%03d' ${BASH_VERSINFO[0]} ${BASH_VERSINFO[1]} ${BASH_VERSINFO[2]}
if ((BV > 4002000)); then
log() {
    ## Fast (builtin) but sec is min sample for most implementations
    printf "%(${TIMESTAMP_FORMAT})T %5d %s\n" '-1' $$ "$*"  # %b convert escapes, %s print as is
}
else
log() {
    ## Slow (subshell, date) but support nanoseconds and legacy bash versions
    echo "$(date +"${TIMESTAMP_FORMAT}") $$ $*"
}
fi

Дивіться різниці швидкостей:

user@host:~$time for i in {1..10000}; do printf "%(${TIMESTAMP_FORMAT})T %s\n" '-1' "Some text" >/dev/null; done

real    0m0.410s
user    0m0.272s
sys     0m0.096s
user@host:~$time for i in {1..10000}; do echo "$(date +"${TIMESTAMP_FORMAT}") Some text" >/dev/null; done

real    0m27.377s
user    0m1.404s
sys     0m5.432s

UPD: замість $(date +"${TIMESTAMP_FORMAT}")цього краще використовувати $(exec date +"${TIMESTAMP_FORMAT}")або навіть $(exec -c date +"${TIMESTAMP_FORMAT}")занадто прискорене виконання.

Це можна зробити за допомогою dateта xargs:

... | xargs -L 1 echo `date +'[%Y-%m-%d %H:%M:%S]'` $1

Пояснення:

xargs -L 1каже xargs виконувати команду, що йде, для кожного 1 рядка введення, і він передає в перший рядок так, як це робиться. echo `date +'[%Y-%m-%d %H:%M:%S]'` $1в основному перегукується дата з аргументом введення в кінці