Трубопровід до декількох файлів у оболонці

У мене є додаток, який видасть велику кількість даних, які я не хочу зберігати на диску. Програма в основному виводить дані, які я не хочу використовувати, але набір корисної інформації, яку необхідно розділити на окремі файли. Наприклад, враховуючи такий вихід:

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

Я могла запустити додаток три рази так:

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

Це дало б мені те, що я хочу, але це зайняло б занадто багато часу. Я також не хочу скидати всі виходи в один файл і проаналізувати це.

Чи є спосіб поєднати три описані вище операції таким чином, що мені потрібно запустити додаток лише один раз і все одно отримати три окремі вихідні файли?

Якщо у вас є трійник

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

( звідси )

( про заміну процесу )

Можна використовувати awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

Ви також можете скористатись можливостями відповідності шаблону оболонки :

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

Або навіть:

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

Більш безпечний спосіб вирішити зворотні риси та лінії, починаючи з -:

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

Як в коментарях зазначає @StephaneChazelas, це не дуже ефективно. Найкраще рішення - це, мабуть, @ AurélienOoms ' .

Якщо у вас є кілька ядер і ви хочете, щоб процеси проходили паралельно, ви можете зробити:

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

Це породить три процеси в паралельних ядрах. Якщо ви хочете, щоб на консолі чи головному файлі був якийсь вихід, це має перевагу в тому, щоб виводити вихід у певному порядку, а не змішувати його.

Утиліта gnu, паралельна від Ole Tange, може бути отримана від більшості репостів під назвою паралельні або moreutils . Джерело можна отримати на Savannah.gnu.org . Також вступне навчальне відео тут .

Додаток

Використовуючи більш нову версію паралелі (не обов'язково версію у вашому репортажі репортажу), ви можете використовувати більш елегантну конструкцію:

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

Що досягає результату запуску одного ./app та 3 паралельних процесів grep в окремих ядрах або потоках (як визначено паралельною самою, також вважають -j3 необов'язковим, але він подається в цьому прикладі для повчальних цілей).

Більш нову версію паралелі можна отримати, виконавши:

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

Тоді звичайний розпакувати, cd до паралельного - {date}, ./configure && make, sudo make install. Це дозволить встановити паралельну, чоловічу сторінку паралельну та чоловічу сторінку паралельно_посібник.

Ось такий в Perl:

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

... якщо <inчитається, усі три спорядження будуть усічені перед тим, як щось написати до них.