Як перевірити, коли впорядкування даних є занадто громіздким?

Я пишу парсер і як частина цього у мене є Expanderклас, який "розширює" єдине складне висловлювання на кілька простих операторів. Наприклад, це розширить це:

x = 2 + 3 * a

в:

tmp1 = 3 * a
x = 2 + tmp1

Зараз я думаю про те, як протестувати цей клас, а саме про те, як упорядкувати тести. Я міг створити дерево введення синтаксису вручну:

var input = new AssignStatement(
    new Variable("x"),
    new BinaryExpression(
        new Constant(2),
        BinaryOperator.Plus,
        new BinaryExpression(new Constant(3), BinaryOperator.Multiply, new Variable("a"))));

Або я можу записати його як рядок і проаналізувати його:

var input = new Parser().ParseStatement("x = 2 + 3 * a");

Другий варіант набагато простіший, коротший і читабельніший. Але він також вводить залежність від Parser, що означає, що помилка Parserможе провалити цей тест. Отже, тест перестав би бути одиничним тестом Expander, і я думаю, що технічно стає тестом інтеграції Parserта Expander.

Моє запитання: чи добре покластися (або повністю) на такі інтеграційні тести для тестування цього Expanderкласу?

Ви збираєтеся писати набагато більше тестів, набагато складніших, цікавих та корисних поведінок, якщо це можна зробити просто. Тож варіант, який передбачає

var input = new Parser().ParseStatement("x = 2 + 3 * a");

цілком справедливий. Це залежить від іншого компонента. Але все залежить від десятків інших компонентів. Якщо ви знущаєтесь над чимось за сантиметр його життя, ви, мабуть, залежите від безлічі глузуючих функцій та тестових пристосувань.

Розробники іноді надмірно зосередитися на чистоті своїх модульних тестів , або розробка модульних тестів і модульних тестів тільки , без якого - або модуля, інтеграції, стресу або інших видів випробувань. Усі ці форми є дійсними та корисними, і вони несуть належну відповідальність розробників - не лише питання Q / A або оперативний персонал далі вниз.

Один із підходів, який я використав, - це почати з цих прогонів вищого рівня, а потім використовувати дані, отримані з них, для побудови тесту довготермінового найнижчого загального знаменника. Наприклад, коли ви скидаєте структуру даних із inputнаведеного вище, ви можете легко сконструювати:

var input = new AssignStatement(
    new Variable("x"),
    new BinaryExpression(
        new Constant(2),
        BinaryOperator.Plus,
        new BinaryExpression(new Constant(3), BinaryOperator.Multiply, new Variable("a"))));

вид тесту, який тестує на самому низькому рівні. Таким чином ви отримуєте приємну суміш: жменю самих основних, примітивних тестів (чисті одиничні тести), але не витратили тиждень на написання тестів на цьому примітивному рівні. Це дає вам ресурс часу, необхідний для написання багатьох інших, трохи менше атомних тестів, використовуючи Parserяк помічник. Кінцевий результат: більше тестів, більше висвітлення, більше кутових та інших цікавих випадків, кращий код та більш висока якість.

Звичайно, це нормально!

Вам завжди потрібен функціональний / інтеграційний тест, який здійснює повний шлях коду. І повний шлях коду в цьому випадку означає, включаючи оцінку згенерованого коду. Це ви перевіряєте, що для розбору створюється x = 2 + 3 * aкод, який, якщо запустити з, a = 5буде встановлено xна, 17а якщо запустити з a = -2буде встановлено xна -4.

Нижче цього ви повинні робити одиничні тести на менші біти , якщо це насправді допомагає налагоджувати код . Чим точніші зернисті випробування, тим більша ймовірність того, що будь-яка зміна коду також потребує зміни тесту, оскільки змінюється внутрішній інтерфейс. Такі випробування мають невелику довгострокову цінність і додають робіт з технічного обслуговування. Таким чином, є точка зменшення віддачі, і ви повинні зупинитися перед цим.

Тестові одиниці дозволяють зафіксувати конкретні предмети, які ламаються та де в коді вони зламані. Тож вони гарні для дуже дрібнозернистих тестувань. Хороші одиничні тести допоможуть скоротити час налагодження.

Однак, з мого досвіду, випробування одиниці рідко є досить хорошими, щоб фактично перевірити правильність роботи. Тож інтеграційні тести також корисні для перевірки ланцюга чи послідовності операцій. Інтеграційні тести отримують частину шляху завдяки функціональному тестуванню. Як ви вже зазначали, через складність інтеграційних тестів важче знайти конкретне місце в коді, де тест ламається. Він також має дещо більшу крихкість, тому що збої в будь-якій ланцюгу можуть спричинити збій тесту. Тим не менш, у ланцюзі у виробничому коді ви все ще будете мати, тому тестування фактичного ланцюга все ще корисно.

В ідеалі ви мали б і те, і інше, але, як правило, автоматизований тест краще, ніж тест.

Зробіть багато тестів на аналізаторі, і коли аналізатор проходить тести, збережіть ці результати у файл, щоб знущатися з аналізатора та протестувати інший компонент.