Запитання з тегом «parallelism»

Припустимо, у мене є два ресурси, названі 0та 1, до яких можна отримати доступ виключно. Чи є можливість відновити "індекс" "паралельного процесора", який xargsзапускається, щоб використовувати його як безкоштовну службу взаємного виключення? Наприклад, врахуйте наступні паралельні обчислення: $ echo {1..8} | xargs -d " " -P 2 -I {} echo …

14 xargs  parallelism 

У мене є завдання, яке обробляє список файлів на stdin. Час запуску програми є значним, і кількість часу, який займає кожен файл, варіюється в широких межах. Я хочу породити значну кількість цих процесів, а потім диспетчерська робота для тих, хто не зайнятий. Існує кілька різних інструментів командного рядка, які майже …

13 xargs  split  parallelism 

У мене є три види даних, які є в різних форматах; для кожного типу даних існує сценарій Python, який перетворює його в єдиний єдиний формат. Цей скрипт Python повільний і пов'язаний з процесором (до одного ядра на багатоядерній машині), тому я хочу запустити три екземпляри цього - по одному для …

10 text-processing  pipe  split  parallelism 

Мені потрібно запустити тести працездатності для моєї паралельної програми, і моя вимога полягає в тому, що вона повинна працювати лише на одному ядрі процесора. (Я не хочу співпрацювати з теми - я хочу завжди мати комутацію контексту). Тож у мене є два питання: Найкраще рішення - Як підписати та зарезервувати …

9 linux  cpu  parallelism 

Я використовую xargsдля виклику сценарію python для обробки близько 30 мільйонів невеликих файлів. Я сподіваюся використовувати xargsдля паралелізації процесу. Я використовую команду: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt В основному, Convert.pyбуде читати у невеликому файлі json (4kb), виконати деяку обробку …

9 xargs  parallelism 

Я написав bash-скрипт у такому форматі: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." whileЦикл буде читати $inFile, виконувати деякі дії на лінії і скинути результат $outFile. …

9 shell-script  multithreading  parallelism 

Я хочу паралелізувати forцикли наступного коду. Як це зробити? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" "$min") …

9 bash  shell-script  parallelism 

У мене є Баш скрипт , який приймає в якості вхідних даних три масивів з однаковою довжиною: METHODS, INFILESі OUTFILES. Цей скрипт дозволить METHODS[i]вирішити проблему INFILES[i]і збереже результат OUTFILES[i]для всіх індексів i( 0 <= i <= length-1). Кожен елемент у METHODS- це рядок форми: $HOME/program/solver -a <method> де solver - …

4 bash  parallelism  gnu-parallel