Як налаштувати проект Django з django-сховищами та Amazon S3, але з різними папками для статичних файлів та медіафайлів?

Question 1

Я налаштовую проект Django, який використовував серверну файлову систему для зберігання статичних файлів програм ( STATIC_ROOT) та завантажених користувачем файлів ( MEDIA_ROOT).

Зараз мені потрібно розмістити весь цей вміст на Amazon S3, тому я створив це для цього. Використання django-storagesз botoсерверної пам'яті, мені вдалося завантажити зібрані статику в відро S3:

MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'

Потім у мене виникла проблема: MEDIA_ROOTі STATIC_ROOTне використовуються в сегменті, тому корінь сегмента містить як статичні файли, так і завантажені користувачами шляхи.

Тоді я міг встановити:

S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT

І використовуйте ці налаштування в шаблонах, але немає ніякої різниці між статичними / медіафайлами при зберіганні в S3 з django-storages.

Як це можна зробити?

Дякую!

Question 2

Я думаю, що наступне має працювати і бути простішим, ніж метод Мандкса, хоча він дуже схожий:

Створити s3utils.pyфайл:

from storages.backends.s3boto import S3BotoStorage

StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage  = lambda: S3BotoStorage(location='media')

Тоді у вашому settings.py:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'

Інший, але пов’язаний приклад (який я насправді перевірив) можна побачити у двох example_файлах тут .

Question 3

Зараз я використовую цей код в окремому s3utilsмодулі:

from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode

from storages.backends.s3boto import S3BotoStorage


def safe_join(base, *paths):
    """
    A version of django.utils._os.safe_join for S3 paths.

    Joins one or more path components to the base path component intelligently.
    Returns a normalized version of the final path.

    The final path must be located inside of the base path component (otherwise
    a ValueError is raised).

    Paths outside the base path indicate a possible security sensitive operation.
    """
    from urlparse import urljoin
    base_path = force_unicode(base)
    paths = map(lambda p: force_unicode(p), paths)
    final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
    # Ensure final_path starts with base_path and that the next character after
    # the final path is '/' (or nothing, in which case final_path must be
    # equal to base_path).
    base_path_len = len(base_path) - 1
    if not final_path.startswith(base_path) \
       or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
        raise ValueError('the joined path is located outside of the base path'
                         ' component')
    return final_path


class StaticRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'static/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)


class MediaRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'media/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)

Потім у моєму модулі налаштувань:

DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'

Мені довелося перевизначити _normalize_name()приватний метод, щоб використовувати "фіксовану" версію safe_join()функції, оскільки оригінальний код дає мені SuspiciousOperationвинятки для законних шляхів.

Я публікую це для розгляду, якщо хтось зможе дати кращу відповідь або вдосконалити цю, це буде дуже вітатися.

Question 4

Файл: PROJECT_NAME / custom_storages.py

from django.conf import settings
from storages.backends.s3boto import S3BotoStorage

class StaticStorage(S3BotoStorage):
    location = settings.STATICFILES_LOCATION

class MediaStorage(S3BotoStorage):
    location = settings.MEDIAFILES_LOCATION

Файл: PROJECT_NAME / settings.py

STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'

if not DEBUG:
    STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
    DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
    AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
    AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
    AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
    AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
    AWS_QUERYSTRING_AUTH = False

І запустити: python manage.py collectstatic

Question 5

Я думаю, що відповідь досить проста і зроблена за замовчуванням. Це працює для мене на AWS Elastic Beanstalk з Django 1.6.5 і Boto 2.28.0:

STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)

TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
)

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']

Ключі AWS передаються з конфігураційного файлу контейнера, і я взагалі не маю STATIC_ROOTабо STATIC_URLвстановлений. Крім того, немає необхідності у s3utils.pyфайлі. Ці деталі обробляються системою зберігання автоматично. Фокус у тому, що мені потрібно було правильно та динамічно посилатися на цей невідомий шлях у своїх шаблонах. Наприклад:

<link rel="icon" href="{% static "img/favicon.ico" %}">

Ось як я звертаюся до свого фавікона, який живе локально (до розгортання) в ~/Projects/my_app/project/my_app/static/img/favicon.ico.

Звичайно, у мене є окремий local_settings.pyфайл для доступу до цього матеріалу локально в середовищі розробника, і він має налаштування STATIC та MEDIA. Мені довелося багато експериментувати та читати, щоб знайти це рішення, і воно працює послідовно, без помилок.

Я розумію, що вам потрібне статичне розділення та розділення коренів, і, враховуючи, що ви можете надати лише одне сегмент, я б зазначив, що цей метод бере всі папки в моєму локальному середовищі під ~/Projects/my_app/project/my_app/static/і створює папку в корені відра (тобто: S3bucket / img / як у прикладі вище). Таким чином, ви отримуєте поділ файлів. Наприклад, ви можете мати mediaпапку в staticпапці та отримати до неї доступ за допомогою шаблону за допомогою цього:

{% static "media/" %}

Сподіваюся, це допоможе. Я прийшов сюди, шукаючи відповіді, і трохи сильніше натиснув на пошук більш простого рішення, ніж розширення системи зберігання. Натомість я прочитав документацію про використання Boto за призначенням і виявив, що багато з того, що мені потрібно, було вбудовано за замовчуванням. Ура!

Question 6

Якщо ви хочете мати вкладені папки навіть до поділу медіа чи статичних подій, ви можете використовувати AWS_LOCATION поверх відповіді bradenm. Посилання: https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html#usage

AWS_STORAGE_BUCKET_NAME = 'bucket_name'
AWS_LOCATION = 'path1/path2/'