Автоматично запускати команди через SSH на багатьох серверах

У файлі .txt є список IP-адрес, напр .:

1.1.1.1
2.2.2.2
3.3.3.3

За кожною IP-адресою стоїть сервер, а на кожному сервері - sshd, що працює на порту 22. Не кожен сервер знаходиться у known_hostsсписку (на моєму ПК, Ubuntu 10.04 LTS / bash).

Як я можу запускати команди на цих серверах та збирати вихід?

В ідеалі я хотів би запускати команди паралельно на всіх серверах.

Я буду використовувати аутентифікацію відкритих ключів на всіх серверах.

Ось кілька можливих підводних каменів:

• Ssh запропонує мені поставити заданий сервер ключ ssh до мого known_hostsфайлу.
• Дані команди можуть повернути ненульовий код виходу, вказуючи на те, що висновок потенційно недійсний. Мені це потрібно визнати.
• Можливо, не вдалося встановити з'єднання з даним сервером, наприклад, через помилку в мережі.
• Потрібно встановити тайм-аут, якщо команда працює довше, ніж очікувалося, або сервер знизиться під час виконання команди.

Сервери AIX / ksh (але я думаю, це насправді не має значення.

Якщо припустити, що ви не в змозі встановити pssh або інші, ви можете зробити щось подібне до:

tmpdir=${TMPDIR:-/tmp}/pssh.$$
mkdir -p $tmpdir
count=0
while IFS= read -r userhost; do
    ssh -n -o BatchMode=yes ${userhost} 'uname -a' > ${tmpdir}/${userhost} 2>&1 &
    count=`expr $count + 1`
done < userhost.lst
while [ $count -gt 0 ]; do
    wait $pids
    count=`expr $count - 1`
done
echo "Output for hosts are in $tmpdir"

Існує декілька інструментів, які дозволяють входити та виконувати ряд команд на кількох машинах одночасно. Ось пара:

• pssh
• pdsh
• кластерсш
• кластер
• каша

Якщо ви використовуєте сценарії Python більше, ніж bashсценарії, то Fabric може бути інструментом для вас.

З домашньої сторінки Тканини :

Тканина - бібліотека і інструмент командного рядка Python (2.5 або вище) для впорядкування використання SSH для розгортання додатків або системного адміністрування.

Він надає базовий набір операцій для виконання локальних або віддалених команд оболонок (як правило, або через sudo) та завантаження / завантаження файлів, а також допоміжні функції, такі як спонукання працюючого користувача до введення або припинення виконання.

Типове використання передбачає створення модуля Python, що містить одну або декілька функцій, а потім їх виконання за допомогою інструмента командного рядка fab.

Я використовую GNU паралельно для цього, більш конкретно ви можете використовувати цей рецепт:

parallel --tag --nonall --slf your.txt command

З your.txtфайлом із IP-адресою / іменами сервера.

Дуже основна настройка:

for host in $(cat hosts.txt); do ssh "$host" "$command" >"output.$host"; done

Автентифікація з іменем / паролем насправді не дуже гарна ідея. Ви повинні встановити приватний ключ для цього:

ssh-keygen && for host in $(cat hosts.txt); do ssh-copy-id $host; done

Я пропоную Ansible.cc . Це менеджер конфігурації та диспетчер команд.

Я думаю, ви шукаєте pssh та пов'язані з ними паралельні версії звичайних scp, rsync тощо.

Я створив інструмент з відкритим кодом під назвою Overcast, щоб полегшити подібні речі.

Спочатку ви визначаєте ваші сервери:

overcast import vm.01 --ip 1.1.1.1 --ssh-key /path/to/key
overcast import vm.02 --ip 2.2.2.2 --ssh-key /path/to/key

Тоді ви можете запускати декілька команд та файлів скриптів через них послідовно або паралельно, наприклад:

overcast run vm.* uptime "free -m" /path/to/script --parallel

Hypertable проект недавно доданий інструмент SSH мульти-хоста. Цей інструмент побудований з libssh та встановлює зв’язки та видає команди асинхронно та паралельно для максимального паралелізму. Для отримання повної документації див. Інструмент SSH Multi-Host . Щоб виконати команду на наборі хостів, виконайте її так:

$ ht ssh 1.1.1.1,2.2.2.2,3.3.3.3 uptime

Ви також можете вказати ім'я хоста або шаблон IP, наприклад:

$ ht ssh 1.1.1.[1-99] uptime
$ ht ssh host[00-99] uptime

Він також підтримує --random-start-delay <millis>опцію, яка затримує початок команди на кожному хості випадковим інтервалом часу між 0 і <millis>мілісекундами. Цю опцію можна використовувати, щоб уникнути громових проблем із стадом, коли команда, що виконується, має доступ до центрального ресурсу.

Я розробив collectionnode Дуже простий і ефективний для виконання завдань, виконаних на декількох серверах (вікна включені)

Як користуватися CollectNode:

1. Створіть список серверів для роботи з:

   # cat hosts.file
   server1
   server2
   server3
   server4
   server5
   

2. Виконати CollectNode, передаючи список подач:

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User'
   

3. Оптимально можна фільтрувати результати, наприклад, ця команда відображає сервер лише там, де виконується умова.

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User' --where="command contain User"
   

https://collectnode.com/5-tasks-collectnode-can-help-managing-servers/

Просто голова на справді приємне запитання:

Найкраще рішення, яке я знайшов, - не надто дивно, tmux.

Ви можете зробити Ctrl-B: встановити панелі синхронізації в tmux для дивовижної зміни. Для цього у вас повинні бути відкриті всі ваші ssh-з'єднання на різних областях 1 вікна Tmux.

Можливо, щось подібне працює, щоб запустити команду на декількох хостах? припустимо, всі хости встановлюються в .ssh / config для входу без пароля.

$ < hosts.txt xargs -I {} ssh {} command

Створіть файл / etc / sxx / hosts

заселяти так:

[grp_ips]
1.1.1.1
2.2.2.2
3.3.3.3

поділитися ключем ssh на всіх машинах.

Встановити sxx з пакета:

https://github.com/ericcurtin/sxx/releases

Потім запустіть команду так:

sxx username@grp_ips "whatever bash command"

Використовуйте параміко http://www.paramiko.org/ і паралелізм на основі нитки https://docs.python.org/3/library/threading.html .низуючий код дозволяє паралельно виконувати кілька команд на кожному сервері!

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.load_system_host_keys()
ssh.connect(hostname, port, username, password)
t = threading.Thread(target=tasks[index], args=(ssh, box_ip,))
t.start()

Примітка. Повторіть вище інструкції для кожного сервера.

Я думаю, що "очікувати" - це те, що потрібно.
Багато людей навіть не знають, що існує. Це програма, заснована на tcl, яка дасть запитання та можливі відповіді від вашого імені. Перегляньте https://wiki.tcl-lang.org/page/Expect