Використання RSYNC з Amazon S3 [закрито]

Мені цікаво використовувати Amazon S3 для резервного копіювання наших ~ 100 Гб зображень сервера (створених за допомогою інструментів резервного копіювання Acronis)

Очевидно, що завантаження на S3 щовечора було б дорогим з точки зору пропускної здатності та вартості. Я розглядаю можливість використання rsync з S3 і натрапив на s3rsync. Мені було просто цікаво, чи має хто-небудь досвід використання цього чи будь-якої іншої утиліти?

Нещодавно я наткнувся на цю нитку в Google, і схоже, що пейзаж трохи змінився з моменту запитання. Більшість запропонованих тут рішень або більше не підтримуються, або стали комерційними.

Після деяких розладів роботи з FUSE та деяких інших рішень там я вирішив написати власний командний рядок rsync "клон" для S3 та Google Storage за допомогою Python.

Ви можете переглянути проект на GitHub: http://github.com/seedifferently/boto_rsync

Ще один проект, про який я нещодавно прозвітував, - це "двозначність". Це виглядає трохи більш детально, і його можна знайти тут: http://duplicity.nongnu.org/

Сподіваюсь, це допомагає.

ОНОВЛЕННЯ

Команда Python в AWS наполегливо працювала над проектом CLI на основі бото для своїх хмарних сервісів. Серед включених інструментів - інтерфейс для S3, який дублює (і багато в чому витісняє) більшість функцій, що надаються boto-rsync:

https://github.com/aws/aws-cli

Зокрема, syncкоманду можна налаштувати так, щоб вона функціонувала майже точно так само, як rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Також мені пощастило з S3cmd та S3sync , обидва вони безкоштовні.

Залежно від того, як створюються ваші зображення Acronis, я не впевнений, що будь-який тип rsync врятував би вам пропускну здатність. Зображення Acronis - це один файл (и), тому rsync не зможе прочитати всередині них, щоб створити резервну копію лише зміни. Також не впевнений, які саме образи сервера ви створюєте, але оскільки ви сказали, що 100 ГБ я збираюся вважати повним? Покрокове зображення значно зменшить нічний розмір зображення, тим самим заощадивши пропускну здатність. Ви також можете зберегти зображення в іншому місці, ніж S3, наприклад, на стрічкових носіях, і зберігати їх поза сайтом.

Я ніколи не пробував S3rsync.

Я використовую подвійність для наших резервних копій за межами сайту. Він підтримує додаткові резервні копії на S3, хоча це не дуже економія пропускної здатності завдяки протоколу зберігання Amazon S3, в якому будь-яка модифікація файлу змушує вас знову завантажувати весь новий файл. У будь-якому разі дублювання завантажує лише відмінності від останнього додаткового резервного копіювання.

З Duplicity вам не потрібно буде проходити інший сервер, як це робить S3sync, але, якщо ви шифруєте свої дані, варто спробувати S3sync спробувати.

S3 також має додаткову службу під назвою AWS Import / Export, яка дозволяє надіслати USB-накопичувач із початковим набором даних на 100 Гбіт, і вони завантажуватимуть його у хмару S3 за допомогою деяких інструментів резервного копіювання у своїх центрах обробки даних. Після того, як ваші 100Gb є там, ви можете робити щорічно диференціальне резервне копіювання, щоб створити резервну копію всього, що змінилося.

Сайт http://aws.amazon.com/importexport/

Якщо більшість ваших даних є досить статичними, це було б хорошим варіантом, якщо цілі 100Gb даних змінюються щодня, то це не допоможе вам сильно.

Ви можете спробувати minio client aka "mc". mc надає мінімальні інструменти для роботи з сумісними хмарними сховищами та файловими системами Amazon S3.

mc реалізує наступні команди

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Ви можете використовувати дзеркальну команду для виконання своєї операції. "localdir" - це локальний каталог & S3 [псевдонім для Amazon S3] та "remoteDir" назва вашого відра на S3.

$ mc mirror localdir/ S3/remoteDir

Ви також можете написати cronjob для того ж. Також у випадку безмережних мереж ви можете будь-коли використовувати "$ mc session", щоб перезапустити завантаження з цього часу.

PS: Я сприяю міні-проекту, і я хотів би отримати ваші відгуки та внесок. Сподіваюся, це допомагає.

Нове видання Jungle Disk Server (бета) може бути корисним для вас. У ньому є дедуплікація на рівні блоків, тому якщо у ваших зображень Acronis є щось спільне, це значно зменшить суму, необхідну для резервного копіювання. Функції ідеально підходять для резервного копіювання сервера. Перегляньте нотатки до випуску.

Я тестував бета-версію протягом двох тижнів і, окрім деяких невеликих проблем із графічним інтерфейсом, які, напевне, будуть виправлені у фіналі, я захоплююсь продуктом.