Оновлення
Тепер S3 пропонує повністю керовану службу шлюзу SFTP для S3, яка інтегрується з IAM і може управлятися за допомогою aws-cli.
Є теоретичні та практичні причини, чому це не ідеальне рішення, але воно працює ...
Ви можете встановити послугу FTP / SFTP (наприклад, proftpd) на Linux-сервер, або в EC2, або у власному центрі даних ..., а потім встановити відро у файлову систему, де ftp-сервер налаштований для хронування , використовуючи s3fs .
У мене є клієнт, який обслуговує вміст поза S3, і вміст надається їм третьою стороною, яка підтримує лише FTP-натискання ... так, з деяким ваганням (через невідповідність імпедансу між S3 та фактичною файловою системою), але не вистачає час, щоб написати належний пакет програмного забезпечення для сервера шлюзів FTP / S3 (який я все-таки маю намір зробити в ці дні), я запропонував і розгорнув це рішення для них кілька місяців тому, і вони не повідомили про проблеми з системою.
Як бонус, оскільки proftpd може вписати кожного користувача у його власний домашній каталог та "зробити вигляд" (наскільки користувач може сказати), що файли, які належать користувачеві proftpd, власне зареєстровані користувачі, це відокремлює кожного користувача ftp у "підкаталог" відра та робить файли інших користувачів недоступними.
Однак існує проблема з конфігурацією за замовчуванням.
Після того, як ви почнете отримувати кілька десятків чи сотень файлів, проблема виявиться, коли ви перетянете список каталогів, оскільки ProFTPd буде намагатися читати .ftpaccessфайли знову і знову, і знову, і для кожного файлу в каталозі, .ftpaccessперевіряється, чи слід дозволити користувачеві переглядати його.
Ви можете відключити цю поведінку в ProFTPd, але я б сказав, що найбільш правильною конфігурацією є налаштування додаткових параметрів -o enable_noobj_cache -o stat_cache_expire=30у s3fs:
-o stat_cache_expire (за замовчуванням термін дії не закінчується)
вкажіть час закінчення (секунд) для записів у кеш статі
Без цієї опції ви будете робити менше запитів до S3, але ви також не завжди будете надійно виявляти зміни, внесені до об'єктів, якщо зовнішні процеси або інші екземпляри s3fs також змінюють об'єкти у відрі. Значення "30" у моїй системі було вибрано дещо довільно.
-o enable_noobj_cache (за замовчуванням вимкнено)
включити записи кеша для об'єкта, якого не існує. s3fs завжди повинен перевірити, чи існує файл (або підкаталог) під об'єктом (шлях), коли s3fs виконує якусь команду, оскільки s3fs розпізнав каталог, який не існує, і має файли чи підкаталоги. Це збільшує запит ListBucket і робить продуктивність поганою. Ви можете вказати цей параметр для продуктивності, s3fs запам'ятовує в кеш статі, що об'єкт (файл або каталог) не існує.
Ця опція дозволяє s3fs пам'ятати, що .ftpaccessйого там не було.
Не пов'язані з проблемами продуктивності, які можуть виникнути з ProFTPd, які вирішуються вищезазначеними змінами, вам також потрібно включити -o enable_content_md5в s3fs.
-o enable_content_md5 (за замовчуванням вимкнено)
перевірка завантажених даних без багаточастин заголовок content-md5. Увімкнути надсилання заголовка "Content-MD5" під час завантаження об'єкта без багаточастинної публікації. Якщо цей параметр включений, він має певний вплив на продуктивність s3fs під час завантаження невеликого об’єкта. Оскільки s3fs завжди перевіряє MD5 під час завантаження великого об'єкта, ця опція не впливає на великий об'єкт.
Це варіант, який ніколи не повинен був бути варіантом - він повинен бути завжди увімкнутим, оскільки це не обходить критичну перевірку цілісності лише на незначну користь від продуктивності. Коли об'єкт буде завантажено в S3 із Content-MD5:заголовком, S3 перевірить контрольну суму і відхилить об'єкт, якщо він пошкоджений під час транзиту. Однак це навряд чи може бути недалеко відключеним перевірку безпеки.
Котирування зі сторінки man в s3fs. Граматичні помилки є в оригінальному тексті.