Використання jq в ланцюзі трубопроводів не дає виходу

Проблема jqнеобхідності явного фільтра під час перенаправлення виводу обговорюється в усьому Інтернеті. Але я не в змозі перенаправити вихід, якщо він jqє частиною ланцюга труб, навіть коли використовується явний фільтр.

Поміркуйте:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Як і очікувалося, вихід у вихідний термінал з jqкоманди:

1
3

Але якщо я додати до кінця jqкоманди будь-яке перенаправлення чи конвеєр , результат вимкнеться:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

У першому терміналі не з'являється вихід, а out.txt порожній.

Я спробував сотні варіантів, але це невловиме питання. Єдине вирішення, яке я знайшов , як було виявлено через " mosquitto_subThe Things Network" (саме там я також виявив проблему), - це загортати хвіст і функції jq у сценарій оболонки:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Потім:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

І досить впевнено, з'являється вихід:

1
3

Це найновіше, jqвстановлене через Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Це (в основному незадокументована) помилка jqчи з моїм розумінням трубних ланцюгів?

Вихід від jqбуферизований, коли його стандартний вихід є трубопровідним.

Щоб запитувати, що jqзмиває його вихідний буфер після кожного об'єкта, використовуйте його --unbufferedпараметр, наприклад

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

З jqпосібника:

--unbuffered

Промийте висновок після друку кожного об'єкта JSON (корисно, якщо ви підключаєте повільне джерело даних до іншого, jqа вихідний файл інший jq).

Що ви бачите тут, це буферизація C stdio у дії. Він буде зберігати вихід у буфері до тих пір, поки не досягне певної межі (може бути 512 байт, або 4 КБ або більше), а потім надішле все це відразу.

Це буферизація автоматично відключається, якщо stdout підключений до терміналу, але коли він підключений до труби (наприклад, у вашому випадку), це дозволить цю буферну поведінку.

Звичайний спосіб відключення / керування буферизацією - це використання setvbuf()функції (див. Цю відповідь для отримання більш детальної інформації), але це потрібно зробити в самому вихідному коді jq, тому, можливо, не для вас щось практичне ...

Існує рішення ... (Злом, можна сказати.) Існує програма під назвою "unbuffer", яка поширюється з "очікувати", яка може створити псевдотермінал і підключити його до програми. Тож, хоч jqвсе ще буде записатись у трубу, він подумає, що це запис у термінал, і буферний ефект буде відключений.

Встановіть пакет "очікувати", який має поставитись з "unbuffer", якщо у вас його ще немає ... Наприклад, на Debian (або Ubuntu):

$ sudo apt-get install expect

Тоді ви можете використовувати цю команду:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Дивіться також цю відповідь, щоб отримати детальнішу інформацію про "скасувати", і тут можна знайти сторінку чоловіка .