Як запустити всі тести модулів Python в каталозі?

У мене є каталог, який містить мої тести на модуль Python. Кожен модульний тестовий модуль має форму випробування _ *. Py . Я намагаюся створити файл під назвою all_test.py, який буде, ви здогадалися, запустити всі файли у вищезгаданій тестовій формі та повернути результат. Я спробував два методи до цих пір; обидва зазнали невдачі. Я покажу два методи, і я сподіваюся, що хтось там знає, як насправді це зробити правильно.

Для моєї першої доблесної спроби я подумав: "Якщо я просто імпортую всі свої тестувальні модулі у файл, а потім зателефоную цьому unittest.main()doodad, він спрацює, правда?" Ну, виявляється, я помилився.

import glob
import unittest

testSuite = unittest.TestSuite()
test_file_strings = glob.glob('test_*.py')
module_strings = [str[0:len(str)-3] for str in test_file_strings]

if __name__ == "__main__":
     unittest.main()

Це не вийшло, результат, який я отримав:

$ python all_test.py 

----------------------------------------------------------------------
Ran 0 tests in 0.000s

OK

Для моєї другої спроби, хоча, гаразд, можливо, я спробую зробити всю цю тестувальну справу більш "ручним" способом. Тому я спробував це зробити нижче:

import glob
import unittest

testSuite = unittest.TestSuite()
test_file_strings = glob.glob('test_*.py')
module_strings = [str[0:len(str)-3] for str in test_file_strings]
[__import__(str) for str in module_strings]
suites = [unittest.TestLoader().loadTestsFromName(str) for str in module_strings]
[testSuite.addTest(suite) for suite in suites]
print testSuite 

result = unittest.TestResult()
testSuite.run(result)
print result

#Ok, at this point I have a result
#How do I display it as the normal unit test command line output?
if __name__ == "__main__":
    unittest.main()

Це теж не вийшло, але, здається, так близько!

$ python all_test.py 
<unittest.TestSuite tests=[<unittest.TestSuite tests=[<unittest.TestSuite tests=[<test_main.TestMain testMethod=test_respondes_to_get>]>]>]>
<unittest.TestResult run=1 errors=0 failures=0>

----------------------------------------------------------------------
Ran 0 tests in 0.000s

OK

У мене, здається, є якийсь набір, і я можу виконати результат. Мене трохи турбує той факт, що він говорить, що маю лише run=1, здається, так і має бути run=2, але це прогрес. Але як я передаю і відображаю результат для основного? Або як я в основному змушую його працювати, щоб я міг просто запустити цей файл і, виконуючи це, запустити всі тести одиниць у цьому каталозі?

З Python 2.7 і новіших версій вам не потрібно писати новий код або використовувати сторонні інструменти для цього; вбудовано рекурсивне тестове виконання за допомогою командного рядка. Помістіть __init__.pyу своєму тестовому каталозі та:

python -m unittest discover <test_directory>
# or
python -m unittest discover -s <directory> -p '*_test.py'

Докладніше можна прочитати в документації на python 2.7 або python 3.x unittest.

Ви можете використовувати тестовий бігун, який зробив би це за вас. ніс дуже добре, наприклад. Під час запуску він знайде тести у поточному дереві та запустить їх.

Оновлено:

Ось код з моїх днів перед носом. Ви, мабуть, не хочете, щоб явний список назв модулів був чіткий, але, можливо, решта вам буде корисна.

testmodules = [
    'cogapp.test_makefiles',
    'cogapp.test_whiteutils',
    'cogapp.test_cogapp',
    ]

suite = unittest.TestSuite()

for t in testmodules:
    try:
        # If the module defines a suite() function, call it to get the suite.
        mod = __import__(t, globals(), locals(), ['suite'])
        suitefn = getattr(mod, 'suite')
        suite.addTest(suitefn())
    except (ImportError, AttributeError):
        # else, just load all the test cases from the module.
        suite.addTest(unittest.defaultTestLoader.loadTestsFromName(t))

unittest.TextTestRunner().run(suite)

У python 3, якщо ви використовуєте unittest.TestCase:

• У __init__.pyвашому testкаталозі у вас повинен бути порожній (або інший) файл ( повинен бути названийtest/ )
• Ваші тестові файли всередині test/відповідають шаблону test_*.py. Вони можуть бути всередині підкаталогу test/, і ці підкаталоги можна назвати як завгодно.

Потім ви можете запустити всі тести за допомогою:

python -m unittest

Готово! Розчин менше 100 рядків. Сподіваємось, інший новачок пітона економить час, знайшовши це.

Тепер це можливо безпосередньо з unittest: unittest.TestLoader.discover .

import unittest
loader = unittest.TestLoader()
start_dir = 'path/to/your/test/files'
suite = loader.discover(start_dir)

runner = unittest.TextTestRunner()
runner.run(suite)

Ну, вивчивши код вище (зокрема, використовуючи TextTestRunnerта defaultTestLoader), я зміг зблизитися. Врешті-решт я виправив свій код, просто передавши всі тестові набори в один конструктор наборів, а не додаючи їх "вручну", що вирішило мої інші проблеми. Тож ось моє рішення.

import glob
import unittest

test_files = glob.glob('test_*.py')
module_strings = [test_file[0:len(test_file)-3] for test_file in test_files]
suites = [unittest.defaultTestLoader.loadTestsFromName(test_file) for test_file in module_strings]
test_suite = unittest.TestSuite(suites)
test_runner = unittest.TextTestRunner().run(test_suite)

Так, напевно простіше просто використовувати ніс, ніж робити це, але це крім сенсу.

Якщо ви хочете запустити всі тести з різних класів тестових випадків, і ви готові вказати їх чітко, ви можете зробити це так:

from unittest import TestLoader, TextTestRunner, TestSuite
from uclid.test.test_symbols import TestSymbols
from uclid.test.test_patterns import TestPatterns

if __name__ == "__main__":

    loader = TestLoader()
    tests = [
        loader.loadTestsFromTestCase(test)
        for test in (TestSymbols, TestPatterns)
    ]
    suite = TestSuite(tests)

    runner = TextTestRunner(verbosity=2)
    runner.run(suite)

де uclidмій проект TestSymbolsі TestPatternsє підкласами TestCase.

Я використовував discoverметод і перевантаження, load_testsщоб досягти цього результату в (мінімальному, я думаю) числовому рядку коду:

def load_tests(loader, tests, pattern):
''' Discover and load all unit tests in all files named ``*_test.py`` in ``./src/``
'''
    suite = TestSuite()
    for all_test_suite in unittest.defaultTestLoader.discover('src', pattern='*_tests.py'):
        for test_suite in all_test_suite:
            suite.addTests(test_suite)
    return suite

if __name__ == '__main__':
    unittest.main()

Виконання на п'ятиках щось подібне

Ran 27 tests in 0.187s
OK

Я спробував різні підходи, але все здається недосконалим, або мені доведеться скласти якийсь код, це дратує. Але є зручний спосіб під Linux, це просто знайти кожен тест за певною схемою, а потім викликати їх по черзі.

find . -name 'Test*py' -exec python '{}' \;

і найголовніше, що він точно працює.

У випадку упакованої бібліотеки чи програми, ви не хочете цього робити. setuptools зробить це за вас .

Для використання цієї команди тести вашого проекту повинні бути загорнені в unittestтестовий набір або функцією, класом або методом TestCase, або модулем або пакетом, що містить TestCaseкласи. Якщо названий набір - це модуль, а модуль має additional_tests()функцію, він викликається і результат (який повинен бути а unittest.TestSuite) додається до тестів, які потрібно запустити. Якщо названий пакет є пакетом, будь-які підмодулі та підпакети рекурсивно додаються до загального тестового набору .

Просто скажіть, де знаходиться ваш кореневий тестовий пакет, наприклад:

setup(
    # ...
    test_suite = 'somepkg.test'
)

І біжи python setup.py test.

Виявлення на основі файлів може бути проблематичним у Python 3, якщо ви не уникнете відносного імпорту у своєму тестовому наборі, оскільки discoverвикористовує імпорт файлів. Незважаючи на те, що він підтримує необов’язковість top_level_dir, але у мене були кілька нескінченних помилок рекурсії. Отже, просте рішення для непакетованого коду полягає в тому, щоб помістити наступне у __init__.pyсвій тестовий пакет (див. Протокол load_tests ).

import unittest

from . import foo, bar


def load_tests(loader, tests, pattern):
    suite = unittest.TestSuite()
    suite.addTests(loader.loadTestsFromModule(foo))
    suite.addTests(loader.loadTestsFromModule(bar))

    return suite

Я використовую PyDev / LiClipse і не дуже зрозумів, як запустити всі тести одразу з графічного інтерфейсу. (відредагувати: клацніть правою кнопкою миші тестову папку і виберітьRun as -> Python unit-test

Це моє поточне вирішення:

import unittest

def load_tests(loader, tests, pattern):
    return loader.discover('.')

if __name__ == '__main__':
    unittest.main()

Я поклав цей код у модуль під назвою all у моєму тестовому каталозі. Якщо я запускаю цей модуль як тестовий блок від LiClipse, то всі тести виконуються. Якщо я попрошу повторити лише конкретні або невдалі тести, то виконуються лише ті тести. Це також не заважає моєму тестувальнику командного рядка (ності) - це ігнорується.

Можливо, вам доведеться змінити аргументи на discoverоснові налаштування вашого проекту.

На основі відповіді Стівена Кейґла я додав підтримку вкладених тестових модулів.

import fnmatch
import os
import unittest

def all_test_modules(root_dir, pattern):
    test_file_names = all_files_in(root_dir, pattern)
    return [path_to_module(str) for str in test_file_names]

def all_files_in(root_dir, pattern):
    matches = []

    for root, dirnames, filenames in os.walk(root_dir):
        for filename in fnmatch.filter(filenames, pattern):
            matches.append(os.path.join(root, filename))

    return matches

def path_to_module(py_file):
    return strip_leading_dots( \
        replace_slash_by_dot(  \
            strip_extension(py_file)))

def strip_extension(py_file):
    return py_file[0:len(py_file) - len('.py')]

def replace_slash_by_dot(str):
    return str.replace('\\', '.').replace('/', '.')

def strip_leading_dots(str):
    while str.startswith('.'):
       str = str[1:len(str)]
    return str

module_names = all_test_modules('.', '*Tests.py')
suites = [unittest.defaultTestLoader.loadTestsFromName(mname) for mname 
    in module_names]

testSuite = unittest.TestSuite(suites)
runner = unittest.TextTestRunner(verbosity=1)
runner.run(testSuite)

Код шукає все підкаталоги .для *Tests.pyфайлів , які потім завантажуються. Він очікує, що кожен *Tests.pyмістить один клас, *Tests(unittest.TestCase)який завантажується по черзі і виконується один за одним.

Це працює з довільним глибоким введенням каталогів / модулів, але кожен каталог між ними повинен містити __init__.pyпринаймні порожній файл. Це дозволяє тесту завантажувати вкладені модулі, замінюючи косої риски (або звороту косу рису) крапками (див. replace_slash_by_dot).

Це старе питання, але те, що працювало для мене зараз (у 2019 році), це:

python -m unittest *_test.py

Усі мої тестові файли знаходяться в тій же папці, що і вихідні файли, і вони закінчуються _test.

Оскільки виявлення тесту здається повною темою, існує певна спеціальна рамка для тестування відкриття:

• ніс
• Py.Test

Детальніше читайте тут: https://wiki.python.org/moin/PythonTestingToolsTaxonomy

Цей сценарій BASH буде виконувати тестовий каталог python unittest від БУДЬ-ЯКОГО у файловій системі, незалежно від того, в якому робочому каталозі ви знаходитесь: його робочий каталог завжди повинен бути там, де знаходиться цей testкаталог.

ВСІ ТЕСТИ, незалежні $ PWD

модуль Python Unittest чутливий до поточного каталогу, якщо ви не вкажете, де (використовуючи discover -sпараметр).

Це корисно, перебуваючи в каталозі ./srcчи в ./exampleробочому каталозі, і вам потрібен швидкий загальний тест одиниці:

#!/bin/bash
this_program="$0"
dirname="`dirname $this_program`"
readlink="`readlink -e $dirname`"

python -m unittest discover -s "$readlink"/test -v

ВИБРАНІ ТЕСТИ, незалежні $ PWD

Я називаю цей файл утиліти: runone.pyі використовую його так:

runone.py <test-python-filename-minus-dot-py-fileextension>

#!/bin/bash
this_program="$0"
dirname="`dirname $this_program`"
readlink="`readlink -e $dirname`"

(cd "$dirname"/test; python -m unittest $1)

Немає необхідності у test/__init__.pyфайлі, який би обтяжував ваш пакунок / накладні витрати пам'яті під час виробництва.

Ось мій підхід, створивши обгортку для запуску тестів з командного рядка:

#!/usr/bin/env python3
import os, sys, unittest, argparse, inspect, logging

if __name__ == '__main__':
    # Parse arguments.
    parser = argparse.ArgumentParser(add_help=False)
    parser.add_argument("-?", "--help",     action="help",                        help="show this help message and exit" )
    parser.add_argument("-v", "--verbose",  action="store_true", dest="verbose",  help="increase output verbosity" )
    parser.add_argument("-d", "--debug",    action="store_true", dest="debug",    help="show debug messages" )
    parser.add_argument("-h", "--host",     action="store",      dest="host",     help="Destination host" )
    parser.add_argument("-b", "--browser",  action="store",      dest="browser",  help="Browser driver.", choices=["Firefox", "Chrome", "IE", "Opera", "PhantomJS"] )
    parser.add_argument("-r", "--reports-dir", action="store",   dest="dir",      help="Directory to save screenshots.", default="reports")
    parser.add_argument('files', nargs='*')
    args = parser.parse_args()

    # Load files from the arguments.
    for filename in args.files:
        exec(open(filename).read())

    # See: http://codereview.stackexchange.com/q/88655/15346
    def make_suite(tc_class):
        testloader = unittest.TestLoader()
        testnames = testloader.getTestCaseNames(tc_class)
        suite = unittest.TestSuite()
        for name in testnames:
            suite.addTest(tc_class(name, cargs=args))
        return suite

    # Add all tests.
    alltests = unittest.TestSuite()
    for name, obj in inspect.getmembers(sys.modules[__name__]):
        if inspect.isclass(obj) and name.startswith("FooTest"):
            alltests.addTest(make_suite(obj))

    # Set-up logger
    verbose = bool(os.environ.get('VERBOSE', args.verbose))
    debug   = bool(os.environ.get('DEBUG', args.debug))
    if verbose or debug:
        logging.basicConfig( stream=sys.stdout )
        root = logging.getLogger()
        root.setLevel(logging.INFO if verbose else logging.DEBUG)
        ch = logging.StreamHandler(sys.stdout)
        ch.setLevel(logging.INFO if verbose else logging.DEBUG)
        ch.setFormatter(logging.Formatter('%(asctime)s %(levelname)s: %(name)s: %(message)s'))
        root.addHandler(ch)
    else:
        logging.basicConfig(stream=sys.stderr)

    # Run tests.
    result = unittest.TextTestRunner(verbosity=2).run(alltests)
    sys.exit(not result.wasSuccessful())

Для простоти прошу вибачити мої стандарти кодування, що не належить PEP8 .

Тоді ви можете створити клас BaseTest для загальних компонентів для всіх ваших тестів, так що кожен ваш тест просто виглядатиме так:

from BaseTest import BaseTest
class FooTestPagesBasic(BaseTest):
    def test_foo(self):
        driver = self.driver
        driver.get(self.base_url + "/")

Для запуску ви просто вказуєте тести як частину аргументів командного рядка, наприклад:

./run_tests.py -h http://example.com/ tests/**/*.py