Паралельно обробка обмеженої кількості команд Bash script

У мене є сценарій bash, який виглядає приблизно так:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Але обробка кожного рядка до тих пір, поки команда не буде закінчена, а потім перехід до наступного дуже трудомісткий, я хочу обробити, наприклад, 20 рядків одразу, потім, коли вони закінчені, ще 20 рядків обробляються.

Я думав над тим, wget LINK1 >/dev/null 2>&1 &щоб відправити команду на другий план і продовжувати, але тут є 4000 рядків, це означає, що у мене виникнуть проблеми з продуктивністю, не кажучи вже про обмеження в тому, скільки процесів я повинен запустити одночасно, так що це не добре ідея.

Одне рішення, про яке я зараз думаю, - це перевірити, чи працює одна з команд чи ні, наприклад, через 20 рядків я можу додати цю петлю:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

Звичайно, у цьому випадку мені потрібно буде додати & до кінця рядка! Але я відчуваю, що це не правильний спосіб зробити це.

Отже, як я насправді групую кожні 20 рядків разом і чекаю, коли вони закінчать, перш ніж перейти до наступних 20 рядків, цей сценарій динамічно генерується, щоб я міг робити все, що я хочу на ньому, поки він генерується, але це НЕ потрібно Використовуйте wget, це був лише приклад, тому будь-яке рішення, яке є специфічним для wget, не принесе мені користі.

Використовуйте waitвбудований:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

У наведеному вище прикладі, 4 процеси process1... process4будуть розпочаті у фоновому режимі, і оболонка зачекає, поки вони завершаться, перш ніж розпочати наступний набір.

З посібника GNU :

wait [jobspec or pid ...]

Зачекайте, поки дочірній процес, визначений кожним підписом ідентифікатора процесу або специфікацією завдання jobspec, завершиться, і поверніть статус виходу останньої очікуваної команди. Якщо специфікація задана, всі процеси в роботі чекають. Якщо ніяких аргументів не наводиться, чекають усі поточно активні дочірні процеси, а стан повернення дорівнює нулю. Якщо ні jobspec, ні pid не визначають активний дочірній процес оболонки, стан повернення - 127.

Дивіться паралельно . Його синтаксис схожий на xargs, але він виконує команди паралельно.

Насправді, xargs можна паралельно виконувати команди для вас. Для цього існує спеціальний -P max_procsваріант командного рядка. Див man xargs.

Ви можете запустити 20 процесів і використовувати команду:

wait

Ваш сценарій буде чекати і продовжуватися, коли всі ваші фонові завдання будуть закінчені.