Створення єдиного вихідного потоку з трьох інших потоків, вироблених паралельно

У мене є три види даних, які є в різних форматах; для кожного типу даних існує сценарій Python, який перетворює його в єдиний єдиний формат.

Цей скрипт Python повільний і пов'язаний з процесором (до одного ядра на багатоядерній машині), тому я хочу запустити три екземпляри цього - по одному для кожного типу даних - і об'єднати їх вихід, щоб передати його sort. В основному, рівнозначно цьому:

{ ./handle_1.py; ./handle_2.py; ./handle_3.py } | sort -n

Але з трьома сценаріями, які працюють паралельно.

Я знайшов це запитання, коли GNU splitвикористовувався для обертання потоку stdout між n екземплярами сценарію, який обробляє потік.

На сторінці розділеної людини:

-n, --number=CHUNKS
          generate CHUNKS output files.  See below
CHUNKS  may be:
 N       split into N files based on size of input
 K/N     output Kth of N to stdout
 l/N     split into N files without splitting lines
 l/K/N   output Kth of N to stdout without splitting lines
 r/N     like 'l'  but  use  round  robin  distributio

Отже r/Nкоманда передбачає " без розбиття рядків ".

Виходячи з цього, видається, що таке рішення повинно бути здійсненним:

split -n r/3 -u --filter="./choose_script" << EOF
> 1
> 2
> 3
> EOF

Звідки choose_scriptце:

#!/bin/bash
{ read x; ./handle_$x.py; }

На жаль, я бачу деяке переплетення рядків - і багато нових рядків, яких там не повинно бути.

Наприклад, якщо я заміню свої скрипти Python на кілька простих скриптів bash, які роблять це:

#!/bin/bash
# ./handle_1.sh
while true; echo "1-$RANDOM"; done;

.

#!/bin/bash
# ./handle_2.sh
while true; echo "2-$RANDOM"; done;

.

#!/bin/bash
# ./handle_3.sh
while true; echo "3-$RANDOM"; done;

Я бачу цей вихід:

1-8394

2-11238
2-22757
1-723
2-6669
3-3690
2-892
2-312511-24152
2-9317
3-5981

Це дратує - грунтуючись на витяжці чоловічої сторінки, яку я вставив вище, вона повинна підтримувати цілісність рядка.

Очевидно, що це працює, якщо я вилучу -uаргумент, але тоді він буферизований, і мені не вистачить пам’яті, оскільки він буферизує вихід усіх, крім одного із сценаріїв.

Якщо хтось має деяке розуміння тут, це буде дуже вдячно. Я тут поза глибиною.

Спробуйте використовувати параметр -u паралель GNU.

echo "1\n2\n3" | parallel -u -IX ./handle_X.sh

Це запускає їх паралельно, не буферизуючи всю сутність будь-якого процесу.

Спробуйте:

parallel ::: ./handle_1.py ./handle_2.py ./handle_3.py

Якщо handle_1.pyбереться ім'я файлу:

parallel ::: ./handle_1.py ./handle_2.py ./handle_3.py ::: files*

Ви не хочете, щоб вихід змішувався, тому не використовуйте -u.

Якщо ви хочете зберегти замовлення (таким чином, весь вихід_1_1 є перед обработкой_2, і, таким чином, ви зможете уникнути сортування):

parallel -k  ::: ./handle_1.py ./handle_2.py ./handle_3.py ::: files*

Якщо ви все ще хочете його сортувати, ви можете паралельно сортувати та використовувати sort -m:

parallel --files "./handle_{1}.py {2} | sort -n"  ::: 1 2 3 ::: files* | parallel -j1 -X sort -m

Встановіть $ TMPDIR на dir, який достатньо великий, щоб утримати вихід.

Можливо, мені щось не вистачає, але чи не можеш ти просто зробити:

(./handle_1.py & ./handle_2.py & ./handle_3.py) | sort -n

Якщо ви хочете, щоб рядки кожного процесу не переплутувались, тим простіше, мабуть, переконатися, що сам процес записує їх повністю і, можливо, вимикає буферизацію виводу, оскільки writes до труби гарантовано будуть атомними, якщо вони не перевищують PIPE_BUF. Наприклад, ви можете переконатися , що він робить використання буферизації ля stdioі виклику fflushабо будь-який інший еквівалент в pythonпісля того, як один або декількох рядків були написані.

Якщо ви не можете змінити сценарії python, ви можете зробити:

lb() { grep --line-buffered '^'; }

(з GNU grep) або:

lb() while IFS= read -r l; do printf '%s\n' "$l"; done

(Дивіться примітки в коментарях нижче, якщо те, що команди виводяться, не є текстом)

І роби:

(./handle_1.py | lb & ./handle_2.py | lb & ./handle_3.py | lb) | sort -n

Інший варіант, щоб уникнути цих 3 lbпроцесів, - це три труби до однієї команди, яка використовує select/ pollщоб побачити, звідки надходить якийсь вихід, і подавати його на sortлінійній основі, але це потребує трохи програмування.

Відповідь Flowbok була правильним рішенням. Як не дивно, висновок GNU parallelозвучується, якщо він виводиться безпосередньо у файл - але не, якщо він переходить до tty.

На щастя, script -cдоступний для імітації TTT.

Є ще три сценарії:

#!/bin/bash
# handle_1.sh
while true; do echo "1-$RANDOM$RANDOM$RANDOM$RANDOM"; done

.

#!/bin/bash
# handle_2.sh
while true; do echo "2-$RANDOM$RANDOM$RANDOM$RANDOM"; done

.

#!/bin/bash
# handle_3.sh
while true; do echo "3-$RANDOM$RANDOM$RANDOM$RANDOM"; done

Потім є файл, який інкапсулює виклик паралельно:

#!/bin/bash
# run_parallel.sh
parallel -u -I N ./handle_N.sh ::: "1" "2" "3"

І тоді я називаю це так:

script -c ./run_parallel > output

Рядки у вихідному сигналі змішуються по черзі між виведеннями різних сценаріїв, але вони не збиваються чи перемежовуються в заданому рядку.

Дивна поведінка від parallel- я можу подати звіт про помилку.