Як створити резервну копію відра AWS S3 без версії вихідного відра [закрито]

Чи є можливість відновитись від випадкових видалень відра Amazon S3?

У наших відрах є важлива інформація, і мені потрібно зменшити ризик випадкового або зловмисного видалення самого відра.

Я знаю, що можу синхронізувати все відро локально, але це не надто практично, якщо розмір мого відра становить 100 Гб.

Якісь ідеї щодо резервних стратегій?

Іншим підходом є включення версії S3 на ваше відро. Потім можна відновити видалені файли тощо. Щоб дізнатися, як це ввімкнути, перегляньте документацію на S3

Використання сторонніх інструментів, таких як BucketExplorer, робить роботу з версією досить тривіальною (проти виклику API самостійно).

Ви також можете ввімкнути багатофакторну автентифікацію видалення для ваших відро S3 - це робить "випадкове видалення" трохи складніше;)

Детальніше про багатофакторну автентифікацію Видалити
більше про видалення об'єктів

Ви можете використовувати s3cmd http://s3tools.org/s3cmd

Отже, для резервного копіювання відро, яке називається mybucket

s3cmd mb s3://mybucket_backup
s3cmd --recursive cp s3://mybucket s3://mybucket_backup

Це недешеве рішення, але якщо ваші відра справді критичні, ось як це зробити: завантажте екземпляр Amazon EC2 і періодично синхронізуйте вміст.

Amazon EC2 є їх хостинг-провайдером з віртуалізації. Ви можете розкручувати екземпляри Linux, Windows тощо та запускати все, що завгодно. Ви платите за годину, і ви отримуєте досить великий місце для зберігання локально для цього сервера. Наприклад, я використовую "великий" розмір екземпляра, який постачається з 850 ГБ місцевого дискового простору.

Прикольна частина полягає в тому, що він знаходиться в тій же мережі, що і S3, і ви отримуєте необмежену кількість передач між S3 та EC2. Я використовую програмне забезпечення Jungle Disk $ 20 на екземплярі Windows EC2, який дозволяє мені отримувати доступ до моїх відра S3 так, ніби вони були локальними папками диска. Тоді я можу робити заплановані пакетні файли, щоб копіювати речі з S3 і на мій місцевий дисковий простір EC2. Ви можете автоматизувати його, щоб зберігати резервні копії годин, якщо ви хочете, або якщо ви хочете грати в азартні ігри, налаштувати JungleDisk (або його еквіваленти Linux) для синхронізації один раз на годину або близько того. Якщо хтось видаляє файл, у вас є принаймні кілька хвилин, щоб повернути його з EC2. Я б порекомендував регулярні резервні копії, якщо ви стискаєте їх на об'єм 850 ГБ, легко зберігати кілька днів резервного копіювання.

Це дійсно корисно для доставки журналу SQL Server, але я можу побачити, як воно також здійснить вашу мету.

Одним з можливих рішень може бути просто створити "відро для резервного копіювання" і дублювати там вашу конфіденційну інформацію. Теоретично ваші дані в S3 безпечніші, ніж на жорсткому диску.

Крім того, я не впевнений, що випадкові видалення є справжньою проблемою, оскільки вам доведеться випадково видалити всі ключі відра, перш ніж ви зможете видалити це відро.

Іншим можливим рішенням є копіювання відра до зони Європи в S3. Це може зберегти відро після випадкового видалення достатньо довго, щоб відновитись.

Щоб трохи змінити відповідь Брента; вам не потрібно тримати примірник роботи. Створіть EC2 AMI, який зніме ваші дані, синхронізує їх до тома EBS, зробить знімки цього обсягу та вимкнеться.

Ви можете також тримати гучність як гучну, але знімок її повинен бути достатнім для резервного копіювання. Якщо ваш користувальницький AMI робить все це (включаючи відключення після його завершення) без взаємодії, то ваш сценарій 'резервного копіювання' просто повинен 'ec2run -n 1 -t m1.small ami-' та fire-and-забуття.