Паралельно чотири завдання ... як це зробити?

У мене в каталозі є маса зображень PNG. У мене є програма під назвою pngout, яку я запускаю для стиснення цих зображень. Ця програма викликається сценарієм, який я зробив. Проблема полягає в тому, що цей сценарій робить по черзі щось подібне:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Обробка лише одного файлу за один раз займає багато часу. Після запуску цього додатка я бачу, що процесор становить лише 10%. Тож я виявив, що можу розділити ці файли на 4 серії, помістити кожну партію в каталог і запустити 4, з чотирьох вікон терміналів, чотири процеси, тож у мене є одночасно чотири екземпляри мого сценарію, обробляючи ці зображення та робота займає 1/4 часу.

Друга проблема полягає в тому, що я втратив час, поділяючи зображення та партії та копіюючи скрипт у чотири каталоги, відкриваю 4 вікна терміналу, бла-бла ...

Як це зробити з одним сценарієм, не розділяючи нічого?

Я маю на увазі дві речі: спочатку як я зі скрипту bash запустити процес на другий план? (просто додати & до кінця?) По-друге: як я припиняю надсилати завдання на задній план після відправлення четвертих завдань і ставити сценарій дочекатися закінчення завдань? Я маю на увазі, що просто відправлення нового завдання на задній план, коли одна задача закінчується, зберігаючи завжди 4 завдання паралельно? якщо я цього не роблю, цикл виводить на задній план мільйони завдань, і процесор забиється.

Якщо у вас є копія, xargsяка підтримує паралельне виконання -P, ви можете просто зробити

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Щодо інших ідей, у вікі Wooledge Bash є розділ у статті «Управління процесами», який описує саме те, що ви хочете.

На додаток до вже запропонованих рішень, ви можете створити файл файлів, який описує, як зробити стислий файл з нестисненого, і використовувати make -j 4для запуску 4 завдань паралельно. Проблема полягає в тому, що вам потрібно буде по-різному називати стислі та нестиснені файли або зберігати їх у різних каталогах, інакше написання розумного правила make буде неможливим.

Якщо у вас встановлений GNU Parallel http://www.gnu.org/software/parallel/, ви можете це зробити:

parallel ./pngout -s0 {} R{} ::: *.png

Ви можете встановити GNU Parallel просто:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Перегляньте вступні відео для GNU Parallel, щоб дізнатися більше: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Щоб відповісти на два питання:

• так, додавання & в кінці рядка доручить оболонці запустити фоновий процес.
• використовуючи waitкоманду, ви можете попросити оболонку зачекати, поки всі процеси у фоновому режимі завершаться, перш ніж продовжувати далі.

Ось скрипт модифікований так, що jвикористовується для відстеження кількості фонових процесів. Коли NB_CONCURRENT_PROCESSESце буде досягнуто, скрипт буде скинутий jна 0 і чекати завершення всіх фонових процесів, перш ніж відновити його виконання.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done