Запитання з тегом «gnu-parallel»

Я намагався паралелізувати наступний скрипт, зокрема кожен із трьох екземплярів циклу FOR, використовуючи GNU Parallel, але не зміг. 4 команди, що містяться в циклі FOR, виконуються послідовно, кожен цикл займає близько 10 хвилин. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in $kar"deformed.nii.gz" -ref normtemp.nii.gz …

109 shell-script  gnu-parallel 

Мене бентежить різниця чи перевага (якщо є) виконання набору завдань у .shсценарії з використаннямGNU parallel Наприклад, відповідь Оле Танге : parallel ./pngout -s0 {} R{} ::: *.png замість того, щоб говорити, перебираючи їх, відкладаючи їх на другий план &. Наприклад, відповідь Frostschutz : #copied from the link for illustration for …

40 shell-script  background-process  xargs  gnu-parallel 

Я використовую rsync сценарій для синхронізації даних на одному хості з даними на іншому хості. Дані мають численні файли невеликого розміру, які сприяють майже 1,2 ТБ. Для синхронізації цих файлів я використовував rsyncкоманду наступним чином: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Зміст proj.lst такий: + proj1 + proj1/* …

18 linux  rhel  rsync  gnu-parallel 

У мене є проблема зі скриптом оболонки, де мені надається каталог, що містить повний вхідний файл (кожен файл містить багато рядків введення), і мені потрібно обробляти їх окремо, перенаправляючи кожен їх вихід на унікальний файл (він же, файл_1.input потребує бути захопленим у file_1.output тощо). Попередньо паралельно я просто повторюю кожен …

18 scripting  parallelism  gnu-parallel 

У більшому сценарії для обробки деяких даних моделювання у мене був такий рядок: parallel bnzip2 -- *.bz2 Який, якщо я parallelправильно розумію (а я не можу), повинен запускати n-core потоки програми над усіма файлами із переліченим розширенням. Ви можете помітити, що я неправильно написав команду bunzip2. Я очікую тут попередження …

15 gnu-parallel  moreutils-parallel 

Тож у мене є певний час: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Але це може зайняти тривалий час. Як я можу використовувати паралель GNU для цього циклу while?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Я б очікував, що другий рядок буде діяти так само.

9 bash  shell  quoting  gnu-parallel 

Я завантажую досить гігантський файл у базу даних postgresql. Для цього я спочатку використовую splitу файлі для отримання менших файлів (30Gb кожен), а потім завантажую кожен менший файл у базу даних за допомогою GNU Parallelі psql copy. Проблема полягає в тому, що потрібно розділити файл близько 7 годин, а потім …

9 files  split  gnu-parallel 

У мене є Баш скрипт , який приймає в якості вхідних даних три масивів з однаковою довжиною: METHODS, INFILESі OUTFILES. Цей скрипт дозволить METHODS[i]вирішити проблему INFILES[i]і збереже результат OUTFILES[i]для всіх індексів i( 0 <= i <= length-1). Кожен елемент у METHODS- це рядок форми: $HOME/program/solver -a <method> де solver - …

4 bash  parallelism  gnu-parallel