Запитання з тегом «parallelism»

У файлі .txt є список IP-адрес, напр .: 1.1.1.1 2.2.2.2 3.3.3.3 За кожною IP-адресою стоїть сервер, а на кожному сервері - sshd, що працює на порту 22. Не кожен сервер знаходиться у known_hostsсписку (на моєму ПК, Ubuntu 10.04 LTS / bash). Як я можу запускати команди на цих серверах та …

46 ssh  scripting  parallelism 

Я використовую Freescale IMX6 чотирьохядерний процесор. Я хочу знати, чи перераховує topкоманда використання CPU всіх 4 ядер або одного ядра. Я бачу, як використання процесора програми однакове з 4 ядрами та з одним ядром. Я здогадувався, що використання процесора додатком збільшиться на одному ядрі та зменшиться на 4 ядра, але …

46 linux  top  parallelism  cpu-usage 

У мене папка, що містить 250+ файлів по 2 ГБ кожен. Мені потрібно шукати рядок / шаблон у цих файлах і виводити результат у outputфайл. Я знаю, що можу виконати таку команду, але це занадто повільно !! grep mypattern * > output Я хочу це пришвидшити. Будучи програмістом на Яві, …

38 grep  parallelism 

Мені потрібно завантажити великий файл (1 Гб). Я також маю доступ до декількох комп'ютерів під управлінням Linux, але кожен обмежується швидкістю завантаження 50 кБ / с за допомогою політики адміністратора. Як я поширюю завантаження цього файлу на декількох комп'ютерах і об'єдную їх після завантаження всіх сегментів, щоб я міг швидше …

38 download  cluster  parallelism 

Чи є якийсь інструмент / команда в Linux, яку я можу використовувати для запуску команди на більш ніж одній вкладці одночасно? Я хочу запустити одну і ту ж команду: ./myprog argument1 argument2одночасно в більш ніж одній оболонці, щоб перевірити, чи працюють мутекси в непорядковій програмі. Я хочу мати змогу збільшити …

33 shell  terminal  parallelism 

Я хочу скласти якомога швидше. Піди розберися. І хотілося б автоматизувати вибір номера, що слідує за -jопцією. Як я можу програмно вибрати це значення, наприклад, у сценарії оболонки? Чи є вихідний nprocеквівалент кількості потоків, з якими я маю компілювати? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

Припускаючи, що введення / виведення диска та вільна оперативна пам’ять є вузьким місцем (хоча час процесора не є обмеженням), чи існує інструмент, який може обчислити кілька дайджестів повідомлень одночасно? Мене особливо цікавить обчислення дайджестів великих файлів MD-5 та SHA-256 (розмір у гігабайти), бажано паралельно. Я спробував openssl dgst -sha256 -md5, …

25 shell-script  hashsum  parallelism 

У мене в каталозі є маса зображень PNG. У мене є програма під назвою pngout, яку я запускаю для стиснення цих зображень. Ця програма викликається сценарієм, який я зробив. Проблема полягає в тому, що цей сценарій робить по черзі щось подібне: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f …

23 shell  background-process  parallelism 

Припустимо , що у мене є три (або більше) Баш сценаріїв: script1.sh, script2.shі script3.sh. Я хотів би зателефонувати всім цим сценаріям і запустити їх паралельно . Один із способів зробити це - просто виконати такі команди: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Як правило, …

19 bash  shell-script  background-process  parallelism 

У мене є проблема зі скриптом оболонки, де мені надається каталог, що містить повний вхідний файл (кожен файл містить багато рядків введення), і мені потрібно обробляти їх окремо, перенаправляючи кожен їх вихід на унікальний файл (він же, файл_1.input потребує бути захопленим у file_1.output тощо). Попередньо паралельно я просто повторюю кожен …

18 scripting  parallelism  gnu-parallel 

Я використовую xargsваріант --max-args=0(альтернативно -P 0). Однак вихід процесів об'єднується в stdoutпотік, не враховуючи належного розділення лінії. Тому я часто стикаюся з такими рядками, як: <start-of-line-1><line-2><end-of-line-1> Як я використовую egrepз ^в моєму шаблоні на всій xargsпродукції цього Мессінг мій результат. Чи є якийсь спосіб змусити xargsзаписувати результати виводу в порядку …

18 process  io  xargs  parallelism 

У мене є скрипт bash shell, в якому я передаю деякі дані через приблизно 5 або 6 різних програм, а потім кінцеві результати - у файл, розміщений з вкладками. Потім я повторюю те ж саме для окремого аналогічного набору даних та виводять у другий файл. Потім обидва файли вводяться в …

17 scripting  parallelism 

Я можу вступити у віддалену машину з 64 ядрами. Скажімо, мені потрібно паралельно запускати 640 скриптів оболонки на цій машині. Як це зробити? Я бачу розбиття 640 скриптів на 64 групи кожен з 10 сценаріїв. Як я б тоді запускав кожну з цих груп паралельно , тобто по одній групі …

16 parallelism 

Розглянемо наступний сценарій. У мене є дві програми A і B. Програма A виводить рядки рядків stdout, тоді як програма B технологічні лінії від stdin. Звичайно, спосіб використання цих двох програм: foo @ bar: ~ $ A | Б Тепер я помітив, що це з'їдає лише одне ядро; отже мені …

16 shell  parallelism 

Я знайшов лише puf (паралельний вибор URL-адрес), але не зміг змусити його читати URL-адреси з файлу; щось на зразок puf < urls.txt теж не працює. Встановлена ​​на сервері операційна система - Ubuntu.

15 ubuntu  wget  parallelism