Обробка декількох гілок у безперервній інтеграції

Question 1

Я мав справу з проблемою масштабування ІР у своїй компанії і одночасно намагався з’ясувати, який підхід застосовувати, коли справа стосується ІС та декількох відділень. Є подібне питання щодо stackoverflow, декількох гілок функцій та постійної інтеграції . Я розпочав новий, тому що хотів би більше обговорити та провести певний аналіз у питанні.

Наразі я виявив, що є 2 основні підходи, які я можу застосувати (або, можливо, деякі інші ???).

Кілька робочих місць (мова про Дженкінса / Хадсона тут) на одну гілку
- Написати інструменти для управління зайвими робочими місцями
  - Створювати / змінювати / видаляти завдання масово
  - Спеціальні налаштування для кожного завдання на гілку (URL-адреса SCM, дублювання репозиторіїв управління управліннями)
  - Деякі приклади людей, які вирішують цю проблему за допомогою інструментів оболонки, мурашиних сценаріїв та інтерфейсу командного інтерфейсу Jenkins. Подивитися:
- Це спричинить більше навантаження на ваш кластер CI
- Цикл зворотного зв’язку для розробників сповільнюється (якщо інфраструктура не справляється з новим навантаженням)
Кілька завдань на 2 гілки (розробник і стабільний)
- Керуйте двома наборами вручну (якщо ви зміните конфігурацію завдання, то обов’язково змініть в іншій гілці)
  - ПІТА, але принаймні так мало, щоб ними керувати
- Інші додаткові гілки не отримають повний набір тестів до того, як їх перенесуть на розробник
- Незадоволені розробники. Чому розробник повинен дбати про проблеми масштабування CI? У нього є просте прохання, коли я відгалужуюсь, я хотів би протестувати свій код. Простий.

Отже, якщо я хочу надати розробникам CI для власних спеціальних гілок, мені потрібні спеціальні інструменти для Jenkins (API або сценарії оболонок чи щось інше?) Та обробляти масштабування. Або я можу сказати їм частіше зливатися з DEV і жити без CI на спеціальних гілках. Який би ви взяли або є інші варіанти?

Question 2

Коли ви говорите про масштабування CI, ви дійсно говорите про масштабування використання вашого сервера CI для обробки всіх ваших гілок функцій разом із основною лінією. Спочатку це виглядає як хороший підхід, оскільки розробники у філії отримують усі переваги автоматизованого тестування, яке включають робочі місця CI. Однак у вас виникають проблеми з управлінням завданнями сервера CI (як ви виявили), і що більш важливо, ви насправді не робите CI. Так, ви використовуєте сервер CI, але ви не постійно інтегруєте код від усіх своїх розробників.

Виконання реального ДІ означає, що всі ваші розробники регулярно приєднуються до основної лінії. Легко сказати, але важка частина робить це, не порушуючи вашу заявку. Я настійно рекомендую вам ознайомитись із Безперервною доставкою , особливо з розділом Зберігання вашої програми доступною у розділі 13: Управління компонентами та залежностями . Основними моментами є:

Приховуйте нову функціональність, поки вона не буде закінчена (AKA Feature Toggles ).

Внесіть усі зміни поступово у вигляді низки невеликих змін, кожна з яких є доступною.

Використовуйте гілку шляхом абстракції, щоб вносити масштабні зміни в кодову базу.

Використовуйте компоненти, щоб роз’єднати частини програми, які змінюються з різною швидкістю.

Вони досить зрозумілі, за винятком гілок шляхом абстракції. Це просто вигаданий термін для:

Створіть абстракцію над тією частиною системи, яку потрібно змінити.

Переформатуйте решту системи, щоб використовувати шар абстракції.

Створіть нову реалізацію, яка не буде частиною шляху виробничого коду до завершення.

Оновіть рівень абстракції, щоб делегувати його новій реалізації.

Видаліть стару реалізацію.

Зніміть шар абстракції, якщо він більше не підходить.

Наступний абзац із розділу « Гілки, потоки та безперервна інтеграція» у главі 14: «Розширений контроль версій» узагальнює наслідки.

Поступовий підхід, безумовно, вимагає більшої дисципліни та турботи - і, дійсно, більше творчості - ніж створення гілки та занурення в нову архітектуру та розробку нових функціональних можливостей. Але це суттєво знижує ризик того, що ваші зміни зламають програму, і заощадить вашій і вашій команді багато часу на об’єднанні, виправленні поломок та переведенні програми у стан розгортання.

Щоб відмовитись від гілок функцій, потрібно досить сильно змінити розум, і ви завжди отримаєте опір. На моєму досвіді, цей опір базується на тому, що розробники не почуваються в безпеці, передаючи код основній лінії, і це викликає розумне занепокоєння. Це, в свою чергу, як правило, пов’язано з відсутністю знань, впевненості чи досвіду роботи з перерахованими вище методами та, можливо, з відсутністю впевненості у ваших автоматизованих тестах. Перше можна вирішити за допомогою навчання та підтримки розробників. З останньою є набагато складнішою проблемою, однак розгалуження не забезпечує ніякої додаткової реальної безпеки, воно просто відкладає проблему, доки розробники не почуватимуться досить впевнено у своєму коді.

Question 3

Я б встановив окремі робочі місця для кожної галузі. Я робив це раніше, і неважко керувати та налаштовувати, якщо ви правильно налаштували Хадсона / Дженкінса. Швидкий спосіб створити кілька завдань - це скопіювати з існуючого завдання, яке має подібні вимоги, та модифікувати їх за потреби. Я не впевнений, чи хочете ви дозволити кожному розробнику налаштовувати власні робочі місця для власних гілок, але одна особа (тобто менеджер збірки) не має великої роботи для управління. Після об’єднання спеціальних гілок у стабільні гілки, відповідні завдання можна видалити, коли вони більше не потрібні.

Якщо вас турбує навантаження на сервер CI, ви можете налаштувати окремі екземпляри CI або навіть окремі ведені пристрої, щоб допомогти збалансувати навантаження на декількох серверах. Переконайтесь, що сервер, на якому ви працюєте Hudson / Jenkins, адекватний. Я використовував Apache Tomcat і просто повинен був переконатися, що він має достатньо пам'яті та обробної потужності для обробки черги збірки.

Важливо чітко визначити, чого ви хочете досягти за допомогою CI, а потім з’ясувати спосіб його реалізації без особливих ручних зусиль чи дублювання. Немає нічого поганого у використанні інших зовнішніх інструментів або сценаріїв, які виконуються вашим сервером CI, що допомагає спростити загальний процес управління збіркою.

Question 4

Я б вибрав dev + стабільні гілки. І якщо ви все ще хочете користувацькі гілки і боїтеся навантаження, то чому б не перенести ці користувацькі в хмару і не дозволити розробникам керувати ними самостійно, наприклад, http://cloudbees.com/dev.cb Це компанія, де зараз знаходиться Косуке . Існує також Eclipse Tooling, тому, якщо ви використовуєте Eclipse, ви будете мати його щільну інтеграцію прямо в dev env.

Question 5

Насправді, що насправді проблематично, так це побудова ізоляції з гілками функцій. У нашій компанії ми маємо набір окремих проектів maven, і всі вони будуть частиною більшої дистрибуції. Ці проекти підтримуються різними командами, але для кожного розподілу всі проекти повинні виходити. Відділ функцій тепер може перекриватися від одного проекту до іншого, і це коли ізоляція збірки стає болісною. Ми спробували кілька рішень:

створити окремі сховища знімків у nexus для кожної гілки об’єкта
ділитися місцевими сховищами для виділених рабів
використовувати плагін repository-server-plugin з висхідними сховищами
будувати все в межах однієї роботи за допомогою одного приватного сховища

Насправді останнє рішення є найбільш перспективним. Всім іншим рішенням так чи інакше бракує. Разом з плагіном job-dsl легко встановити нову гілку функцій. просто скопіюйте та вставте скрипт groovy, адаптуйте гілки і дайте насінню завдання створити нові завдання. Переконайтеся, що завдання насіння видаляє некеровані завдання. Тоді ви можете легко масштабувати за допомогою гілок функцій для різних проектів maven.

Але, як Том сказав вище, було б приємніше подолати необхідність функціонування гілок і навчити розробників інтегруватися чисто, але це довший процес, і результат незрозумілий із багатьма частинами застарілої системи, яку ви більше не торкаєтесь.

мої 2 центи