Як запускати сценарії паралельно на віддаленій машині?

Я можу вступити у віддалену машину з 64 ядрами. Скажімо, мені потрібно паралельно запускати 640 скриптів оболонки на цій машині. Як це зробити?

Я бачу розбиття 640 скриптів на 64 групи кожен з 10 сценаріїв. Як я б тоді запускав кожну з цих груп паралельно , тобто по одній групі на кожному з наявних ядер.

Буде сценарій форми

    ./script_A &
    ./script_B &
    ./script_C &
    ...

де script_Aвідповідає першій групі, script_Bдругій групі тощо, достатньо?

Сценарії в одній групі, які працюють на одному ядрі, добре працювати послідовно, але я хочу, щоб групи працювали паралельно по всіх ядрах.

Це виглядає як робота для gnu паралельно:

parallel bash -c ::: script_*

Перевага полягає в тому, що вам не доведеться групувати сценарії за ядрами, parallelце зробить це за вас.

Звичайно, якщо ви не хочете відвідувати сеанс SSH під час виконання скриптів, ви повинні використовувати nohupабоscreen

Це буде працювати до тих пір, поки вам не потрібно буде стежити за результатами, і ви все в порядку залишаєте сеанс ssh відкритим до тих пір, поки сценарії займуться. Якщо будь-яке з них не відповідає дійсності, я б рекомендував використовувати screenкілька вкладок. Ви могли зробити щось подібне

screen
for script in script_A script_B script_C; do
  screen -t "$script" ./$script
done;

Щоб розпочати та керувати великою кількістю скриптових завдань, вам знадобиться якесь програмне забезпечення для управління використанням ресурсів (процесор, пам'ять, пріоритет), перегляньте стан завдання (зачекайте, призупиніть, запустіть, закінчите).

Grid engine створений для цього, наприклад, Sun Grid Engine ( http://wiki.gridengine.info/wiki/index.php/Main_Page ) або Open Grid Scheduler ( http://gridscheduler.sourceforge.net/ ). Вам потрібен адміністратор, щоб встановити належне програмне забезпечення для вас, перш ніж ви можете запустити. Адміністратор, можливо, буде радий це зробити, замість того, щоб побачити сотні процесів, що працюють на машині, і не мати над ними контролю.

Загалом, адміністратор визначає, на скільки слотів може бути поділена машина, і ви подаєте завдання до черги та вказуєте, скільки слотів робота хоче використовувати, сітка двигуна буде контролювати загальне використання системи та виконувати завдання відповідно до політика встановлення черги, визначена адміністратором. наприклад, одночасно може працювати не більше x завдань тощо. Решта завдань будуть знаходитись у черзі в стані очікування та звільнятись після попереднього завершення завдань.

Ви можете спробувати розподілену оболонку. Завантажити з: http://sourceforge.net/projects/dsh/

Я робив це неодноразово і зазвичай просто прокручую свій власний сценарій, щоб виконувати роботу з контролем роботи. Якщо у вас є назви всіх скриптів, які ви хочете запустити у файл, рішення виглядає так:

#!/bin/bash
scripts=$(cat scriptfiles.txt)
declare -i NUM=0
declare -i MAX_PROCS=30
for script in "$scripts"
do
  NUM=$((NUM+1))
  ssh remote.host.ip "${script}" > ${script}.log 2>&1 &
  if [ $NUM -ge $MAX_PROCS ];then
    echo "Waiting for $NUM processes to finish."
    wait
    NUM=0
  fi
done
echo "Waiting for final $NUM processes to finish."
wait
exit

Це груба сила, але ефективна. Крім того, вам не потрібне додаткове програмне забезпечення, наприклад паралельне, додане до ваших систем.

Велика проблема полягає в тому, що команда очікування чекатиме завершення найповільнішого сценарію, що може втратити час. Я створив сценарії для вирішення цієї ситуації, але вони складніші, як ви можете собі уявити. Якщо всі ваші сценарії працюють приблизно за однаковий час, це добре працює.

Ще одна проблема - можливо, вам доведеться налаштувати MAX_PROCS, щоб визначити найкращу ефективність.

Звичайно, кількість ssh-з'єднань може стати непростим. У такому випадку просто перенесіть цей скрипт на віддалений хост і змініть рядок "ssh ...", щоб просто запустити сценарії безпосередньо.