Виклик декількох скриптів bash та запуск їх паралельно, а не послідовно

Припустимо , що у мене є три (або більше) Баш сценаріїв: script1.sh, script2.shі script3.sh. Я хотів би зателефонувати всім цим сценаріям і запустити їх паралельно . Один із способів зробити це - просто виконати такі команди:

nohup bash script1.sh &
nohup bash script2.sh &
nohup bash script3.sh &

(Як правило, сценарії можуть зайняти кілька годин або днів, тому я хотів би використовувати nohupтак, щоб вони продовжували працювати, навіть якщо моя консоль закривається.)

Але чи існує спосіб виконання цих трьох команд паралельно з одним викликом?

Я думав про щось подібне

nohup bash script{1..3}.sh &

але це, здається, виконується script1.sh, script2.shі script3.shв послідовності, не паралельно.

for((i=1;i<100;i++)); do nohup bash script${i}.sh & done

Кращим способом було б використання паралельної GNU . Паралель GNU проста і за допомогою неї ми можемо контролювати кількість завдань, які потрібно виконати паралельно, з більшим контролем над робочими місцями.

У нижченаведеній команді script{1..3}.shрозширюється і bashпаралельно надсилається як аргументи . Тут -j0вказується, що потрібно виконати якомога більше завдань. За замовчуванням parallelвиконує одне завдання для одного ядра процесора.

$ parallel -j0 bash :::: <(ls script{1..3}.sh)

І ви також можете спробувати використовувати

$ parallel -j0 bash ::: script{1..3}.sh

Під час виконання другого методу, якщо ви отримуєте повідомлення про помилку, це означає, що цей --tollefпараметр встановлений, /etc/parallel/configі його потрібно видалити, і кожна річ буде працювати нормально.

Ви можете прочитати довідкову GNU Parallelsсторінку тут для багатших можливостей.

І якщо ви виконуєте завдання з віддаленої машини, краще використовуйте screenтак, щоб сеанс не закривався через проблеми з мережею. nohupце не обов'язково, оскільки останні версії bash, що надходять з huponexitas, offі це не дозволить батьківській оболонці надсилати HUPсигнал своїм дітям під час виходу. У випадку, якщо його не встановлено, зробіть це

$ shopt -u huponexit  

Ми також можемо використовувати xargsпаралельний запуск декількох скриптів.

$ ls script{1..5}.sh|xargs -n 1 -P 0 bash

тут кожен сценарій передається в bash як аргумент окремо. -P 0вказує на те, що кількість паралельного процесу може бути максимально можливим. Так само безпечніше використання bash за замовчуванням job control feature (&).

Рішення для однієї лінії :

$ nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh &

Менш грамотно, просто використовуйте обгортковий сценарій:

$ cat script.sh
#!/usr/bin/env bash
script1.sh &
script2.sh &
script3.sh &
$ nohup script.sh &

Або петлю над ними:

for script in dir/*.sh
do
    nohup bash "$script" &
done

Якщо ви хочете заощадити собі певні зусилля

eval "nohup bash "script{1..3}.sh" &"

Або по другій думці, може, ні

Оформити цей інструмент: https://github.com/wagoodman/bashful

Скажімо , у вас є mytasks.yamlз

tasks:
    - name: A title for some tasks
      parallel-tasks:
        - cmd: ./script1.sh
        - cmd: ./script2.sh -x an-arg
        - cmd: ./script3.sh -y some-other-arg

І ви запускаєте це так:

nohup bashful run mytasks.yaml

Ваші сценарії виконуватимуться паралельно вертикальній смузі прогресу (+ ета, якщо ви запустили її раніше і час визначається). Ви можете налаштувати, скільки завдань, які ви хочете виконувати паралельно, якщо ви почнете виконувати більше, ніж лише дані 3:

config:
    max-parallel-commands: 6
tasks:
    ...

Відмова: Я автор.

Я пропоную набагато простішу утиліту, яку я щойно написав. Наразі він називається par, але незабаром буде перейменований у parl або pll, ще не вирішив.

https://github.com/k-bx/par

API настільки ж простий, як:

par "script1.sh" "script2.sh" "script3.sh"

Використовуйте паралельну оболонку

parallelshell "echo 1" "echo 2" "echo 3"

https://github.com/keithamus/parallelshell