Дженкінс - Як дізнатися, які тести повторно провалювалися?

Я новачок у CI та Jenkins. У мене є проект Java, який запускає автоматизовані тести на веб-сервісі на основі Testng. Тести на автоматизацію регулярно проводяться як робота в Дженкінсі. Іноді робота провалюється неодноразово протягом тривалого часу. Але в кожному циклі кількість відмов тесту різна. Я хочу побачити, в яких тестах неодноразово виходили з ладу, скажімо, останні 5 запусків. Завдяки цьому я можу зменшити кількість відмов тесту, які мені доведеться досліджувати. Невдачі, які не повторюються всі протягом останніх 5 циклів, можна ігнорувати або дослідити пізніше.

Може хто-небудь, будь ласка, підкаже, як я можу дізнатися, які тести повторно виходили з ладу за останні N циклів?

Ви можете взяти скільки разів тест не вдався від об'єкта збірки в конвеєрі: ви можете скласти невеликий звіт і приєднати його до своєї збірки так:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

Зателефонуйте saveRepeatedlyFailingTestsReportпісля того, як ви зберете результати тесту, і ви побачите звіт у своєму останньому посиланні на створення артефактів.

Ви можете використовувати плагін Test Result Analyzer від Jenkins для аналізу тенденцій тестів.

Плагін тестового аналізатора результатів

Відеоурок з youtube

Установка :

1. На панелі керування Дженкінса натисніть кнопку Керувати Дженкінсом
2. У меню виберіть Керування плагінами
3. Перейдіть на вкладку Доступні та аналізатор введення у вікні пошуку Фільтр
4. Встановіть прапорець зліва від результатів тестування Analyzer і натисніть Встановити без перезавантаження кнопки

Використання :

1. Перейдіть до проекту та натисніть Налаштувати
2. Перейдіть у розділ Дії після створення збірки та виберіть Опублікувати звіт про результати тестування JUnit у спадному меню Додати дії після створення
3. У полі звіту про тест XML вкажіть шлях xml TestNg / JUnit у проекті. Наприклад - **/target/test-results/*.xmlу моєму випадку
4. Збережіть конфігурацію
5. Потім після успішної збірки перейдіть до свого проекту та натисніть на Аналізатор результатів тестування в меню зліва