Паралельні петлі оболонки

Я хочу обробити багато файлів, і оскільки у мене тут є маса ядер, я хочу це робити паралельно:

for i in *.myfiles; do do_something $i `derived_params $i` other_params; done

Я знаю рішення Makefile, але мої команди потребують аргументів із списку глобальних оболонок. Я знайшов:

> function pwait() {
>     while [ $(jobs -p | wc -l) -ge $1 ]; do
>         sleep 1
>     done
> }
>

Щоб скористатися ним, все, що потрібно зробити - це поставити & після виконання завдань і дзвінка з підписом, параметр дає кількість паралельних процесів:

> for i in *; do
>     do_something $i &
>     pwait 10
> done

Але це працює не дуже добре, наприклад, я спробував це, наприклад, для циклу, який перетворює багато файлів, але дає мені помилку і не залишає завдання скасованим.

Я не можу повірити, що це ще не зроблено, оскільки дискусія в списку розсилки zsh на сьогодні вже така стара. Так ти знаєш краще?

Makefile - хороше рішення вашої проблеми. Ви можете запрограмувати це паралельне виконання в оболонці, але це важко, як ви помітили. Паралельна реалізація make не тільки подбає про початок роботи та виявлення їх закінчення, але й обробляє балансування навантаження, що є складним.

Вимога до глобалізації не є перешкодою: є такі реалізації, які підтримують її. GNU make, який має розширені підстановки, такі як $(wildcard *.c)і доступ до оболонки, наприклад $(shell mycommand)(шукайте функції у посібнику GNU для отримання додаткової інформації). Це за замовчуванням makeв Linux і доступний у більшості інших систем. Ось скелет Makefile, який ви, можливо, зможете адаптувати під свої потреби:

джерела = $ (wildcard * .src)

all: $ (джерела: .src = .tgt)

% .tgt: $ .src
    do_something $ <$$ (deriva_params $ <)> $ @

Виконайте щось на кшталт make -j4виконання паралельно чотирьох завдань або make -j -l3збереження середнього навантаження близько 3.

Я не впевнений, що таке ваші похідні аргументи. Але з GNU Parallel http: // www.gnu.org/software/parallel/ ви можете зробити це, щоб виконати одну роботу на ядро ​​процесора:

find . | parallel -j+0 'a={}; name=${a##*/}; upper=$(echo "$name" | tr "[:lower:]" "[:upper:]");
   echo "$name - $upper"'

Якщо те, що ви хочете отримати, - це просто змінити розширення. {{}}:

parallel -j+0 lame {} -o {.}.mp3 ::: *.wav

Перегляньте вступне відео до GNU Parallel на веб- сайті http://www.youtube.com/watch?v=OpaiGYxkSuQ

Чи не використовує команда оболонки waitдля вас роботу?

for i in *
do
    do_something $i &
done
wait

Ваш цикл виконує завдання, потім чекає його, потім виконує наступне завдання. Якщо вищезгадане не працює для вас, то ваше може працювати краще, якщо ви рухаєтесь pwaitпісля done.

Чому ще ніхто не згадав xargs?

Якщо припустити, що у вас рівно три аргументи,

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; done | xargs -n 3 -P $PROCS do_something

В іншому випадку використовуйте роздільник (нуль для цього зручно):

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; echo -ne "\0"; done | xargs -0 -n 1 -P $PROCS do_something

EDIT: для вищезазначеного кожен параметр повинен бути розділений нульовим символом, а потім кількість параметрів слід вказати за допомогою xargs -n.

Я спробував деякі відповіді. Вони роблять сценарій трохи складнішим, ніж це потрібно. В ідеалі використання parallelабо xargsбуло б бажано, але якщо операції всередині циклу for є складними, це може бути проблематично для створення великих і довгих файлів рядків для подачі паралельно. замість цього ми могли б використовувати джерело наступним чином

# Create a test file 
$ cat test.txt
task_test 1
task_test 2

# Create a shell source file 
$ cat task.sh
task_test()
{
    echo $1
}

# use the source under bash -c 
$ cat test.txt | xargs -n1 -I{} bash -c 'source task.sh; {}'
1
2

Таким чином, для Вашого вирішення проблеми буде виглядати

for i in *.myfiles; echo " do_something $i `derived_params $i` other_params
" >> commands.txt ; done

визначити робити щось як do_something.sh

do_something(){
process $1
echo $2 
whatever $3 

}

виконати за допомогою xargабоgnu parallel

   cat commands.txt | xargs -n1 -I{} -P8 bash -c 'source do_something.sh; {}'

Я припускаю, що функціональна незалежність ітерацій for має на увазі.