Будь-яка потреба зробити резервну копію даних на Amazon S3?


16

Я розміщую 200 Гб зображень продуктів на S3 (це мій основний хост файлів).

Чи потрібно мені створювати резервні копії цих даних десь в іншому місці, чи безпечний S3?

Я експериментував із встановленням відра S3 на екземпляр EC2, а потім робив нічну резервну копію rsync. Проблема полягає в тому, що це близько 3 мільйонів файлів, тому потрібно тривати певний час, щоб генерувати різні потреби в rsync. На завершення резервного копіювання потрібно близько 3 днів.

Будь-які ідеї, як зробити це краще? (якщо це навіть потрібно?)

Відповіді:


5

Я робив дослідження з цього приводу, досить смішно.

Ваші резервні копії на S3 можуть вийти з ладу в залежності від вашого регіону через можливу послідовність; основне попередження полягає в тому, що якщо ви цього зробите достатньо, у якийсь момент у вас виникнуть помилки при відкритті або пошуку файлів як магії файлової системи на тлі синхронізації Amazon серед серверів, тому ваші резервні копії можуть бути не надійними.

Що стосується того, чи потрібно їх зберігати іншим способом, це залежить від вашого управління ризиками. Ви довіряєте Amazon зберігати ваші дані?

Цілком можливо, що вони можуть щось втратити або збільшити збір системи зберігання; вони, без сумніву, мають у своїх контрактах пункти, які вказують, що якщо вони втратять ваші дані, це ваша проблема. Не їх. Також, бачачи, як ваші дані розміщені десь в іншому місці, ви не знаєте, що з ними робитимуть; правоохоронні органи хочуть ваших даних? Ви можете навіть не знати, що хтось до нього звертався.

Ви їй довіряєте? Якщо дані не є ключовими для Вашого бізнесу, і Ви готові прийняти цей ризик, не потрібно завантажувати їх на зберігання за межами сайту. Якщо ви не бажаєте ризикувати, що ваші дані будуть безпечними на серверах зберігання Amazon там, вам слід домовитись про періодичне скидання їх у власне сховище.

Іншими словами, я не думаю, що на це немає прямої відповіді, оскільки це залежить від вашої толерантності до ризику та потреб бізнесу. Багато людей не будуть повністю довіряти свої доходи виключно на зберіганні з хмарою, особисто я відчуваю це з обережністю ...

Для цього краще, під час обговорень та досліджень, інший підхід, який слід врахувати, - це створити об'єм EBS, достатньо великий для зберігання даних, приєднати їх до екземпляра EC2, зберегти там свої дані, тоді ви зможете відключити об'єм і зберегти ці дані в S3 . Я в середині дослідження, чи буде це зроблено як збереження самого файлу томів до S3 або вмісту ... але тоді ви можете видалити екземпляр EBS, коли буде зроблено, щоб заощадити витрати на зберігання.

EDIT Я переглядаю, що ви переглядаєте, що ви економите від S3 до екземпляра EC2, а не навпаки (хоча я не знаю, чи можлива проблема узгодженості все-таки може викликати проблеми). Ви намагаєтесь зберегти дані до екземпляра EC2 як резервну копію? Я б подумав, що затратно, що це не є обгрунтованою тактикою; може бути дешевше підкріпити речі на локальному диску, якщо ви збираєтеся в довгостроковому зберіганні такого типу даних, а також час в мережі. За рахунок витрат на накопичувач ви можете скопіювати дані на локальний диск як резервну копію.

Я все одно зберігав би попередження про довіру Amazon та їх зберігання. Якщо ви хочете зберегти все в Amazon S3, але мати більше резервів, дублюйте свої відра S3 в різних регіонах, і якщо вони мають відключення, що впливає на один регіон, це не повинно вибити їх усіх. Ви сподіваєтесь. Хоча все можливо.

Це зводиться до того, наскільки ви цінуєте свої дані, скільки ви готові платити за них і скільки ризику ви хочете терпіти.


Дякую за вашу відповідь, але я думаю, ви неправильно зрозуміли. Я використовую S3 в якості свого основного сховища (я розміщую файли прямо звідти як CDD). Тож моє запитання було, чи файли там безпечні, чи мені потрібно зробити резервну копію з них (можливо, до іншого буфера S3 або до екземпляра EC2)?
Chrille

Додано в редагування.
Барт Сільверстрім

Хм, так, можливо, місцева підтримка була б безпечнішою. Чи знаєте ви, що S3 та EC2 мають одне і те ж обладнання - якщо воно не вдасться, і резервні копії S3, і моя EC2 не було б? Мої дві причини для створення резервної копії на EC2 є: (1) Не існує плати за передачу між EC2 та S3. Кошти коштуватимуть близько 200 ГБ щомісяця щомісяця. (2) у випадку катастрофи на S3, я міг досить швидко перетворити свій екземпляр EC2, щоб натомість поділитися зображеннями із резервної копії. Але я розумію, що місцева резервна копія теж має багато переваг ...
Chrille

Я, чесно кажучи, не знаю, як апаратне забезпечення Amazon встановлено на задньому плані; навіть якби я знав, немає жодної гарантії, що вони не змінять це в майбутньому.
Барт Сільверстрім

4

Для цього я використовував s3cmd s3cmd sync . Це трохи схоже на rsync у своїй роботі, і може пересувати та перетягувати цілі каталоги між S3 та іншою системою Linux на ваш вибір.

Я не бачу жодної причини, чому ви не змогли s3cmd syncби скористатися запущеним екземпляром EC2 або навіть власною робочою станцією розробника (або сервером зберігання даних).

Можливо, ви захочете встановити екземпляр VPC, і тоді ви можете призначити невеликому вузлу всередині VPC роль сервера резервного копіювання і надати йому як IP в мережі Amazon, так і всередині вашої локальної підмережі.


Моє занепокоєння, яке йому доведеться вирішити за допомогою власних фінансів, - це витрати на підтримання екземпляра EC2 та простір EBS для зберігання подібних даних порівняно із збереженням їх на локальному зовнішньому жорсткому диску на пару сотень баксів. Якщо гроші дозволяють платити за трансфер, я просто завантажую його на локальний диск і періодично підтримуйте синхронізацію (що також було частиною вашого рішення.)
Bart Silverstrim

EC2 Amazon не є дешевим за будь-якою мірою терміну, особливо якщо ви хочете робити на рівні підприємства чи будь-що інше, ніж прості речі. Якщо вам це не подобається, можливо, це не для вас.
Том О'Коннор

@BartSilverstrim: не передача в AWS безкоштовна? Якщо так, мені може бути дешевше скопіювати на EC2, ніж локально. У мене в будь-якому випадку є екземпляр EC2, який працює 24/7, так що коштуватиме просто місце EBS.
Chrille

2

Моя порада - ваші дані - це ваша відповідальність, а не Amazon. Якщо втрата даних не така вже й велика, тоді не робіть резервного копіювання. Якщо це так, то візьміть власну резервну копію (принаймні) дешевого JBOD (і регулярно перевіряйте), як я.

Ви дізнаєтеся, яку відповідальність Amazon готова взяти на себе за ваші дані в день їх втрати.


0

Якщо ви можете собі це дозволити (як я це роблю) - це зберегти всі мої дані на моєму сервері, але витягнути їх з Amazon s3. Тож якщо Amazon знищиться з будь-якої причини (торкніться деревини), я можу просто витягнути всі свої дані миттєво прямо з сервера. З мого сервера я роблю щомісячні резервні копії на локальному диску. Оскільки мій веб-сайт перевищує 2 ТБ.


Я вважаю трохи незрозумілим, яка ваша рекомендація. Що таке ваш сервер і де він знаходиться?
kasperd

0

Хоча це стара тема, це перше, що з’являється, коли створюється резервна копія Googling S3, тож я думав, що додам її ...

Провівши кілька досліджень з цього питання, я виявив Rclone https://rclone.org/ - це програмне забезпечення rsync-ish, призначене для копіювання між хмарними службами зберігання файлів і підтримує більшість з них. Ніякої приналежності, і я її ще не використовував, тому не можу сказати, добре чи погано, але я подумав, що це може комусь допомогти.

Мені здається, є можливість для розміщеної служби, яка виконує резервні копії файлів, розміщених у хмарі (S3, Google Storage, Cloud Cloud Files тощо) ....

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.