Як встановити цільових хостів у файлі Fabric

Я хочу використовувати Fabric для розгортання коду веб-додатків на серверах розробки, постановки та виробництва. Мій fabfile:

def deploy_2_dev():
  deploy('dev')

def deploy_2_staging():
  deploy('staging')

def deploy_2_prod():
  deploy('prod')

def deploy(server):
  print 'env.hosts:', env.hosts
  env.hosts = [server]
  print 'env.hosts:', env.hosts

Вибірка зразка:

host:folder user$ fab deploy_2_dev
env.hosts: []
env.hosts: ['dev']
No hosts found. Please specify (single) host string for connection:

Коли я створюю set_hosts()завдання, як показано в документах Fabric , env.hosts встановлюється правильно. Однак це не є життєздатним варіантом, і не є декоратором. Передача хостів у командному рядку в кінцевому підсумку призведе до якогось сценарію оболонки, який викликає fabfile, я вважаю за краще один інструмент виконати роботу належним чином.

У документах Fabric сказано, що "env.hosts - це просто об'єкт списку Python". З моїх спостережень, це просто неправда.

Хтось може пояснити, що тут відбувається? Як я можу налаштувати хоста для розгортання?

Я роблю це, оголошуючи фактичну функцію для кожного середовища. Наприклад:

def test():
    env.user = 'testuser'
    env.hosts = ['test.server.com']

def prod():
    env.user = 'produser'
    env.hosts = ['prod.server.com']

def deploy():
    ...

Використовуючи вищезазначені функції, я б ввів наступне для розгортання у моєму тестовому середовищі:

fab test deploy

... і наступне для впровадження у виробництво:

fab prod deploy

Приємно в тому, що робити це таким чином, це те, що функції testта prodфункції можна використовувати перед будь-якою функцією Fab, а не просто розгортати. Це неймовірно корисно.

Використовуйте roledefs

from fabric.api import env, run

env.roledefs = {
    'test': ['localhost'],
    'dev': ['user@dev.example.com'],
    'staging': ['user@staging.example.com'],
    'production': ['user@production.example.com']
} 

def deploy():
    run('echo test')

Виберіть роль за допомогою -R:

$ fab -R test deploy
[localhost] Executing task 'deploy'
...

Ось більш простий варіант відповіді на помилку сервера :

from fabric.api import settings

def mystuff():
    with settings(host_string='192.0.2.78'):
        run("hostname -f")

Я сам зациклювався на цьому, але нарешті зрозумів це. Ви просто не можете встановити налаштування env.hosts зсередини завдання. Кожне завдання виконується N разів, один раз для кожного заданого хоста, тому налаштування є принципово поза рамками завдання.

Переглянувши свій код вище, ви можете просто зробити це:

@hosts('dev')
def deploy_dev():
    deploy()

@hosts('staging')
def deploy_staging():
    deploy()

def deploy():
    # do stuff...

Що здається, це зробить те, що ви маєте намір.

Або ви можете написати якийсь спеціальний код у глобальній області, який аналізує аргументи вручну та встановлює env.hosts до того, як буде визначена ваша функція завдання. З кількох причин саме таким чином я налаштував своє.

З файлу 1.5 це документально підтверджений спосіб динамічного встановлення хостів.

http://docs.fabfile.org/en/1.7/usage/execution.html#dynamic-hosts

Цитата з документа нижче.

Використання Execute з динамічно встановленими списками хостів

Загальний випадок використання проміжного до просуваного використання для Fabric - це параметризувати пошук цільового списку хостів під час виконання (коли використання ролей недостатньо). Execute може зробити це надзвичайно просто, наприклад:

from fabric.api import run, execute, task

# For example, code talking to an HTTP API, or a database, or ...
from mylib import external_datastore

# This is the actual algorithm involved. It does not care about host
# lists at all.
def do_work():
    run("something interesting on a host")

# This is the user-facing task invoked on the command line.
@task
def deploy(lookup_param):
    # This is the magic you don't get with @hosts or @roles.
    # Even lazy-loading roles require you to declare available roles
    # beforehand. Here, the sky is the limit.
    host_list = external_datastore.query(lookup_param)
    # Put this dynamically generated host list together with the work to be
    # done.
    execute(do_work, hosts=host_list)

В відміну від деяких інших відповідей, то є можна змінити envзмінні середовища в рамках завдання. Однак це envбуде використовуватися лише для наступних завдань, виконаних за допомогою fabric.tasks.executeфункції.

from fabric.api import task, roles, run, env
from fabric.tasks import execute

# Not a task, plain old Python to dynamically retrieve list of hosts
def get_stressors():
    hosts = []
    # logic ...
    return hosts

@task
def stress_test():
    # 1) Dynamically generate hosts/roles
    stressors = get_stressors()
    env.roledefs['stressors'] = map(lambda x: x.public_ip, stressors)

    # 2) Wrap sub-tasks you want to execute on new env in execute(...)
    execute(stress)

    # 3) Note that sub-tasks not nested in execute(...) will use original env
    clean_up()

@roles('stressors')
def stress():
    # this function will see any changes to env, as it was wrapped in execute(..)
    run('echo "Running stress test..."')
    # ...

@task
def clean_up():
    # this task will NOT see any dynamic changes to env

Без обгортання підзадач будуть використані execute(...)ваші envналаштування рівня модуля або все, що передано з fabCLI.

Вам потрібно встановити host_stringприклад:

from fabric.context_managers import settings as _settings

def _get_hardware_node(virtualized):
    return "localhost"

def mystuff(virtualized):
    real_host = _get_hardware_node(virtualized)
    with _settings(
        host_string=real_host):
        run("echo I run on the host %s :: `hostname -f`" % (real_host, ))

Щоб пояснити, чому це навіть питання. Команда fab використовує тканину бібліотеки для виконання завдань у списках хостів. Якщо ви спробуєте змінити список хостів всередині завдання, ви, по суті, намагаєтесь змінити список, переглядаючи його. Або у випадку, коли у вас не визначено хостів, переведіть цикл на порожній список, де код, на якому ви встановили список, щоб ніколи не виконуватися.

Використання env.host_string - це вирішення такої поведінки лише в тому, що воно вказує безпосередньо на функції, з якими хости можуть підключитися. Це спричиняє деякі проблеми в тому, що ви будете переробляти цикл виконання, якщо хочете виконати кілька хостів.

Найпростіший спосіб, коли люди роблять можливість встановлювати хости під час виконання, - це зберігати env-популяризацію як окрему задачу, яка встановлює всі хост-рядки, користувачів тощо. Потім вони виконують завдання розгортання. Це виглядає приблизно так:

fab production deploy

або

fab staging deploy

Де постановка та виробництво - це як завдання, яке ви поставили, але наступне завдання вони самі не називають. Причина, по якій він повинен працювати так, полягає в тому, що завдання має закінчитися і вирватися з циклу (хостів, у випадку env None, але це петля одного в цьому пункті), а потім перевести цикл хости (зараз визначені попереднім завданням) заново.

Вам потрібно змінити env.hosts на рівні модуля, а не в межах функції завдання. Я зробив ту саму помилку.

from fabric.api import *

def _get_hosts():
    hosts = []
    ... populate 'hosts' list ...
    return hosts

env.hosts = _get_hosts()

def your_task():
    ... your task ...

Це дуже просто. Просто ініціалізуйте змінну env.host_string, і всі наступні команди будуть виконані на цьому хості.

from fabric.api import env, run

env.host_string = 'user@exmaple.com'

def foo:
    run("hostname -f")

Я абсолютно новачок у тканині, але щоб змусити тканину виконувати однакові команди на декількох хостах (наприклад, для розгортання на декількох серверах в одній команді), ви можете запустити:

fab -H staging-server,production-server deploy 

де staging-server і server -сервер - це 2 сервери, на яких потрібно запустити дію розгортання. Ось простий fabfile.py, який відображатиме ім’я ОС. Зауважте, що fabfile.py повинен знаходитися в тому самому каталозі, що і для запуску команди fab.

from fabric.api import *

def deploy():
    run('uname -s')

Це працює якнайменше з тканиною 1.8.1.

Отже, для того, щоб встановити хости та виконати команди за всіма хостами, потрібно почати з:

def PROD():
    env.hosts = ['10.0.0.1', '10.0.0.2']

def deploy(version='0.0'):
    sudo('deploy %s' % version)

Після того, як вони визначені, запустіть команду в командному рядку:

fab PROD deploy:1.5

Що буде виконувати завдання розгортання на всіх серверах, перелічених у функції PROD, оскільки він встановлює env.hosts перед запуском завдання.

Ви можете призначити його env.hoststringперед виконанням підзадачі. Призначте цю глобальну змінну в циклі, якщо ви хочете перейти на кілька хостів.

На жаль для вас і мене, тканина не призначена для цього випадку використання. Перегляньте mainфункцію на веб- сторінці http://github.com/bitprophet/fabric/blob/master/fabric/main.py, щоб побачити, як вона працює.

Ось ще одна схема "підсумків", яка дозволяє fab my_env_1 my_commandвикористовувати:

За цією схемою нам залишається лише одночасно визначати середовища за допомогою словника. env_factoryстворює функції на основі ключових імен ENVS. Я вкладаю ENVSу свій каталог і файл, secrets.config.pyщоб відокремити конфігурацію від тканинного коду.

Недолік полягає в тому, що, як написано, додавання @taskдекоратора це порушить .

Примітки: ми використовуємо def func(k=k):замість def func():фабрики через пізнє зв’язування . З цим рішенням ми отримуємо запущений модуль і виправляємо його, щоб визначити функцію.

secrets.config.py

ENVS = {
    'my_env_1': {
        'HOSTS': [
            'host_1',
            'host_2',
        ],
        'MY_OTHER_SETTING': 'value_1',
    },
    'my_env_2': {
        'HOSTS': ['host_3'],
        'MY_OTHER_SETTING': 'value_2'
    }
}

fabfile.py

import sys
from fabric.api import env
from secrets import config


def _set_env(env_name):
    # can easily customize for various use cases
    selected_config = config.ENVS[env_name]
    for k, v in selected_config.items():
        setattr(env, k, v)


def _env_factory(env_dict):
    for k in env_dict:
        def func(k=k):
            _set_env(k)
        setattr(sys.modules[__name__], k, func)


_env_factory(config.ENVS)

def my_command():
    # do work

Використання ролей в даний час вважається "правильним" і "правильним" способом цього зробити, і це ви повинні "робити".

Це означає, що якщо вам подобається більшість того, що вам "хотілося б" або "бажання", це можливість виконувати "скручену систему" або перемикати цільові системи на льоту.

Тож для розважальних цілей (!) Наступний приклад ілюструє те, що багато хто може вважати ризикованим, але все-таки всебічно задовольняючим маневром, який іде приблизно так:

env.remote_hosts       = env.hosts = ['10.0.1.6']
env.remote_user        = env.user = 'bob'
env.remote_password    = env.password = 'password1'
env.remote_host_string = env.host_string

env.local_hosts        = ['127.0.0.1']
env.local_user         = 'mark'
env.local_password     = 'password2'

def perform_sumersault():
    env_local_host_string = env.host_string = env.local_user + '@' + env.local_hosts[0]
    env.password = env.local_password
    run("hostname -f")
    env.host_string = env.remote_host_string
    env.remote_password = env.password
    run("hostname -f")

Потім працює:

fab perform_sumersault