Як запустити тестову базу даних Django тільки в пам'яті?

Мої тести на прилад Django тривають тривалий час, тому я шукаю способи прискорити це. Я розглядаю можливість встановлення SSD , але знаю, що в нього є і свої недоліки. Звичайно, є речі, які я міг би зробити зі своїм кодом, але я шукаю структурне виправлення. Навіть виконання одного тесту відбувається повільно, оскільки базу даних потрібно щоразу відновлювати / мігрувати на південь. Тож ось моя ідея ...

Оскільки я знаю, що база даних тестів завжди буде зовсім невеликою, чому я не можу просто налаштувати систему, щоб завжди зберігати всю тестову базу даних в оперативній пам'яті? Ніколи не торкайтеся диска взагалі. Як налаштувати це в Django? Я вважаю за краще продовжувати використовувати MySQL, оскільки саме це я використовую у виробництві, але якщо SQLite  3 або щось інше полегшує це, я б пішов цим шляхом.

Чи є у SQLite або MySQL можливість повністю запускатися в пам'яті? Потрібно мати можливість налаштувати диск RAM, а потім налаштувати тестову базу даних для зберігання там своїх даних, але я не впевнений, як сказати Django / MySQL використовувати інший каталог даних для певної бази даних, тим більше, що вона видаляється і відтворили кожен пробіг. (Я на Mac FWIW.)

Якщо під час запуску тестів встановити двигун бази даних на sqlite3, Django використовуватиме базу даних в пам'яті .

Я використовую такий код у своєму, settings.pyщоб налаштувати двигун на sqlite під час запуску тестів:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Або в Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

І нарешті у Django 1.3 та 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Повний шлях до бекенда не є строго необхідним для Django 1.3, але робить це налаштування сумісним.)

Ви також можете додати наступний рядок, якщо у вас є проблеми з міграцією на південь:

    SOUTH_TESTS_MIGRATE = False

Я зазвичай створюю окремий файл налаштувань для тестів і використовую його в тестовій команді, наприклад

python manage.py test --settings=mysite.test_settings myapp

Він має дві переваги:

1. Вам не доведеться перевіряти testчи якесь таке магічне слово в sys.argv, test_settings.pyможе бути просто

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Або ви можете додатково налаштувати його для своїх потреб, чітко відокремлюючи тестові налаштування від виробничих налаштувань.

2. Ще одна перевага полягає в тому, що ви можете запустити тест із двигуном виробничої бази замість sqlite3, уникаючи тонких помилок, тому розробляючи використання

   python manage.py test --settings=mysite.test_settings myapp

   і перед введенням коду запустіть один раз

   python manage.py test myapp

   просто щоб бути впевненим, що всі випробування справді проходять.

MySQL підтримує механізм зберігання даних під назвою "MEMORY", який ви можете налаштувати у вашій базі даних config ( settings.py) як такому:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Зауважте, що двигун пам’яті MEMORY не підтримує колони blob / text, тому, якщо ви використовуєте django.db.models.TextFieldце, вам не підійде.

Я не можу відповісти на ваше головне питання, але ви можете зробити кілька речей, щоб прискорити роботу.

По-перше, переконайтеся, що ваша база даних MySQL налаштована для використання InnoDB. Тоді він може використовувати транзакції, щоб відбити стан db перед кожним тестом, що, на мій досвід, призвело до значного прискорення. Ви можете передати команду init бази даних у вашому settings.py (синтаксис Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

По-друге, вам не потрібно виконувати міграції на Південь кожен раз. Встановіть SOUTH_TESTS_MIGRATE = Falseу settings.py і база даних буде створена за допомогою простого syncdb, що буде набагато швидше, ніж пробіг через усі історичні міграції.

Ви можете подвійне налаштування:

• використовувати транзакційні таблиці: стан початкових світильників встановлюватиметься за допомогою відката бази даних після кожного TestCase.
• поставте дані вашої бази даних на ramdisk: ви отримаєте багато, що стосується створення бази даних, а також запущений тест буде швидшим.

Я використовую обидві хитрощі, і я дуже задоволений.

Як налаштувати його для MySQL в Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Обережно, це лише для тестування, після перезавантаження вашої бази даних з пам'яті втрачено!

Інший підхід: інший екземпляр MySQL працює в tempfs, який використовує диск RAM. Інструкції в цій публікації в блозі: Прискорення швидкості MySQL для тестування в Django .

Переваги:

• Ви використовуєте ту саму базу даних, яку використовує ваш виробничий сервер
• не потрібно змінювати конфігурацію mysql за замовчуванням

Розширення відповіді на Anurag я спростив процес, створивши ті ж самі тестові настройки та додавши наступні до management.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

здається чистішим, оскільки sys вже імпортований, а Manag.py використовується лише через командний рядок, тому не потрібно переповнювати налаштування

Використовуйте нижче у своєму setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'