У мене великий тест на прийняття (~ 10 секунд на тест), написаний за допомогою NUnit. Я хотів би скористатися тим фактом, що всі мої машини - це багато ядер. В ідеалі, я міг би мати одне тестування на одне ядро, незалежно від інших тестів.
Існує PNUnit, але він призначений для тестування на проблеми з синхронізацією потоків та подібні речі, і я не бачив очевидного способу досягнення цього.
Чи є перемикач / інструмент / опція, яку я можу використовувати для паралельного запуску тестів?
Відповіді:
Якщо ви хочете запускати тести NUnit паралельно, існує принаймні 2 варіанти:
Версія NUnit 3 підтримуватиме паралельні запуски тестів:
Додавання атрибута до класу: [Parallelizable(ParallelScope.Self)]паралельно запускатиме тести.
• ParallelScope.None вказує на те, що тест не може виконуватися паралельно з іншими тестами.
• ParallelScope.Self вказує на те, що сам тест може виконуватися паралельно з іншими тестами.
• ParallelScope.Children вказує на те, що нащадки тесту можуть виконуватися паралельно по відношенню один до одного.
• ParallelScope.Fixtures вказує на те, що світильники можуть працювати паралельно один одному.
Якщо ваш проект містить кілька тестових бібліотек DLL, ви можете запускати їх паралельно, використовуючи цей скрипт MSBuild. Очевидно, вам потрібно буде налаштувати шляхи відповідно до макета вашого проекту.
Для запуску з 8 ядрами виконуйте: c:\proj> msbuild /m:8 RunTests.xml
RunTests.xml
<?xml version="1.0" encoding="utf-8"?>
<Project DefaultTargets="RunTestsInParallel" xmlns="http://schemas.microsoft.com/developer/msbuild/2003">
<Import Project="$(MSBuildExtensionsPath)\MSBuildCommunityTasks\MSBuild.Community.Tasks.Targets"/>
<PropertyGroup>
<Configuration Condition=" '$(Configuration)' == '' ">Release</Configuration>
<Nunit Condition=" '$(Nunit)' == '' ">$(MSBuildProjectDirectory)\..\tools\nunit-console-x86.exe</Nunit>
</PropertyGroup>
<!-- see http://mikefourie.wordpress.com/2010/12/04/running-targets-in-parallel-in-msbuild/ -->
<Target Name="RunTestsInParallel">
<ItemGroup>
<TestDlls Include="..\bin\Tests\$(Configuration)\*.Tests.dll" />
</ItemGroup>
<ItemGroup>
<TempProjects Include="$(MSBuildProjectFile)" >
<Properties>TestDllFile=%(TestDlls.FullPath)</Properties>
</TempProjects>
</ItemGroup>
<MSBuild Projects="@(TempProjects)" BuildInParallel="true" Targets="RunOneTestDll" />
</Target>
<Target Name="RunOneTestDll">
<Message Text="$(TestDllFile)" />
<Exec Command="$(Nunit) /exclude=Integration $(TestDllFile) /labels /xml:$(TestDllFile).results.xml"
WorkingDirectory="$(MSBuildProjectDirectory)\..\bin\Tests\$(Configuration)" />
</Target>
</Project>
Оновлення Якби я відповідав на це питання зараз, я б настійно рекомендував NCrunch та його інструмент для запуску тестового командного рядка для максимальної продуктивності тестового запуску. Немає нічого подібного, і це одночасно зробить революцію у вашому циклі тестування-налагодження коду.
У цій статті згадується, що для прискорення тестів плакат запускає декілька екземплярів NUnit із параметрами команд, що вказують, які тести повинен запускати кожен екземпляр.
ЗВТ:
Я зіткнувся з дивною проблемою.
Ми використовуємо nunit-console для запуску тесту на нашому сервері безперервної інтеграції. Нещодавно ми переходили з Nunit 2.4.8 на 2.5.5 і з .Net 3.5 на 4.0. Для прискорення виконання тесту ми запускаємо кілька екземплярів Nunit паралельно з різними аргументами командного рядка
- У нас є дві копії наших тестових збірок і бінарних файлів нунітів у папках A і B.
- У папці А ми виконуємо
nunit-console-x86.exe Model.dll Test.dll / виключити: MyCategory /xml=TestResults.xml /framework=net-4.0 / noshadow
- У папці B виконуємо
nunit-console-x86.exe Model.dll Test.dll / включає: MyCategory /xml=TestResults.xml /framework=net-4.0 / noshadow
Якщо ми виконуємо команди послідовно, обидва успішно запускаються. Але якщо ми виконуємо їх паралельно, це вдається лише одному. Наскільки я можу зрозуміти, це те, що першим завантажує тестові прилади. Інший не працює із повідомленням "Не вдається знайти пристрій".
Ця проблема вже відома? Я не зміг знайти нічого пов'язаного зі списком помилок на панелі запуску. До речі, наш сервер працює під керуванням Windows Server 2008 64-розрядної версії. Я також міг відтворити проблему в Windows 7 64-bit.
Якщо припустити, що ця помилка виправлена або ви не використовуєте новішу версію (-и) згаданого програмного забезпечення, ви повинні мати змогу відтворити її техніку.
Оновлення
TeamCity виглядає як інструмент, за допомогою якого можна автоматично запускати тести NUnit. У них є обговорена тут програма запуску NUnit, яка може бути використана для запуску декількох екземплярів NUnit. Ось допис у блозі, в якому обговорюється злиття декількох результатів NUnit XML в один файл результатів.
Тож теоретично ви можете мати можливість TeamCity автоматично запускати кілька тестів NUnit на основі, однак, якщо ви хочете розділити робоче навантаження, а потім об’єднати результати в один файл для обробки після тесту.
Це достатньо автоматизовано для ваших потреб?
Те, що PNUnit може виконувати синхронізацію всередині тестового коду, не означає, що ви насправді повинні використовувати цей аспект. Наскільки я бачу, ніщо не заважає вам просто нерестити набір і ігнорувати решту, поки вам не знадобиться.
До речі, я не маю часу прочитати всі їх джерела, але мені було цікаво перевірити клас Barrier, і це дуже простий лічильник блокування. Він просто чекає, поки входять N потоків, а потім посилає імпульс, щоб усі вони продовжували працювати одночасно. Це все, що до цього потрібно - якщо ви не торкнетесь, воно вас не вкусить.
Може бути трохи протилежним інтуїтивним для нормальної різьбової розробки (замки зазвичай використовуються для серіалізації доступу - 1 на 1), але це цілком енергійне відхилення :-)
Тепер ви можете використовувати NCrunch для розпаралелювання модульних тестів, і ви навіть можете налаштувати, скільки ядер повинен використовувати NCrunch, а скільки - Visual Studio.
плюс ви отримуєте постійне тестування як бонус :)
Як альтернативу додаванню атрибута Parallelizable до кожного тестового класу:
Додайте це до тестового проекту AssemblyInfo.cs класу для nunit3 або вище:
// Make all tests in the test assembly run in parallel
[assembly: Parallelizable(ParallelScope.Fixtures)]
Це було б трохи зламати, але ви можете розділити модульні тести на ряд категорій . Потім запустіть новий екземпляр NUnit для кожної категорії.
Редагувати: Схоже, вони додали параметр / process до консольного додатка. У довідці з командного рядка зазначено, що це "Модель процесу для тестів: одиничний, окремий, багаторазовий". Здається, у тест-бігуна також є ця функція.
Редагування 2: На жаль, хоча він і створює окремі процеси для кожної збірки, опція ізоляції процесу (/ процес із командного рядка) запускає агенти по черзі.
Оскільки проект тут не згадувався, я хотів би розповісти про NUnit.Multicore . Я сам не пробував проект, але, схоже, він має цікавий підхід до проблеми паралельного тестування з NUnit.
Ви можете спробувати мій невеликий інструмент TBox або консольний паралельний Runner або навіть плагін, щоб робити розподілені розрахунки, які також можуть запускати модульні тести на наборі ПК SkyNet
TBox створений для спрощення роботи з великими рішеннями, що містить безліч проектів. Він підтримує безліч плагінів, і один з них забезпечує можливість паралельного запуску тестів NUnit. Цей плагін не вимагає змін у існуючих тестах.
Також він підтримує:
Клонування папки з модульним тестом (якщо ваші тести змінюють локальні дані),
Синхронізація тестів (наприклад, якщо ваші тести на testfixtureteardown вбивають усі сервери розробників або chromerunner для qunit)
режим x86 та права адміністратора для запуску тестів
Пакетний запуск - ви можете паралельно запускати тести для багатьох збірок
Навіть для одного потоку, працює швидше, ніж стандартний nunit runner, якщо у вас є набагато невеликі тести.
Також цей інструмент підтримує програму тестування командного рядка (для паралельного запуску), і ви можете використовувати його при постійній інтеграції.
Я успішно використовував NUnit 3.0.0 beta-4 для паралельного запуску тестів
Дякую за відповіді однолітків .
Поняття:
Ви можете використовувати наступну команду PowerShell (для NUnit3, для NUnit2 змініть ім'я бігуна):
PS> nunit3-console (ls -r *\bin\Debug\*.Tests.dll | % FullName | sort-object -Unique)
Представлена команда запускає всі тестові збірки в одному екземплярі nunit, що дозволяє використовувати механізм, вбудований у паралельний тестовий запуск .
Зауваження
Не забудьте налаштувати шаблон пошуку в каталозі. Наведений приклад запускає лише збірки, що закінчуються .Tests.dllі всередині \bin\Debugкаталогів.
Будьте в курсі Uniqueфільтрації - можливо, ви не хочете мати її.