Чи можу я використовувати rsync для резервного копіювання в Amazon S3

17

Я придбав деякий простір у evbackup, який надає мені FTP, rsync та SSH. Але я також читав, що Amazon S3 також можна використовувати для резервного копіювання.

Тож я дуже розгублений тим, що Amazon надає FTP доступ для завантаження файлів у резервну копію.

Як я можу завантажити ці файли.

Я багато разів читав їхній сайт, але не міг зрозуміти, як працює їх система. Я просто хочу створити резервну копію домашнього каталогу своїх користувачів

backup ftp amazon-s3

— Міраж
джерело

24

Ні, ви не можете використовувати rsyncдля передачі файлів в Amazon. Для сервісу використовується власний протокол. Але ви можете отримати доступ до їх сховища через сторонні сервіси, як-от www.s3rsync.com , тоді ви зможете користуватися rsync, і ваші дані остаточно перенесуться у сховище S3.

Або ви можете використовувати спеціальні утиліти, призначені для зберігання S3. Є: s3sync , s3command , s3cp , tarsnap (tarsnap - стороннє обслуговування, як s3rsync).

Інший інструмент, схожий на rsync duplicity, підтримує сховище S3 як бекенд, а також безліч інших резервних копій, включаючи файли хмарних файлів RackSpace (інша хмарна служба зберігання даних, ціна якої аналогічна Amazon S3).

Резервне копіювання в S3:

duplicity /home/me s3+http://bucketname/prefix

або до хмарних файлів Rackspace:

duplicity /home/me cf+http://container_name

— зустрічі
джерело

дякую за це, також я не міг зрозуміти їхню модель даних. Я перевіряв їх ціни, і вони завжди заявляють про пропускну здатність. наприклад, 0,18 центнерів на ГБ передачі даних. Припустимо, я завантажую туди дані 50 Гб для створення резервної копії, а потім не зволікаю. Тоді скільки вони стягують, якщо я не роблю най-трансфер. я не міг знайти місця, де вони заявляють, скільки місця вони дають, як 50 доларів за жорсткий диск 50 Гб

— Mirage

@Moorage: Amazon стягує як за зберігання (від $ 0,14 / ГБ на місяць), так і за переказ ($ 0,1 / ГБ за переказ). Отже, за 50 Гб ви платите 7 доларів на місяць, якщо ви не маєте доступу до цих даних. Також є хмарні файли RackSpace, які є подібною послугою.

— зустріч

подвійність виглядає дуже приємно. Мені б хотілося, щоб я це бачив, перш ніж писати власний клон rsync. Якщо лукавість трохи занадто розробити для вас, перевірте мій простий «Rsync-як» обгортка для Бото: github.com/seedifferently/boto_rsync

— Сет

1

PS Я ніколи не використовував подвійність, але один з моїх друзів повідомив про зламані резервні копії. Використовуйте обережно.

— зустріч

Ви також можете спробувати minio client [ github.com/minio/mc ] aka mc. Ви можете скористатися командою [мкр дзеркало], щоб відобразити локальну папку відром S3.

— користувач52692

5

Офіційний інтерфейс командного рядка Amazon працював для мене добре. Він може синхронізувати з локального до відра S3, а також синхронізувати з відра S3 назад до локальних файлів.

1) встановити інтерфейс командного рядка Amazon з https://aws.amazon.com/cli/

2) з оболонки,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Більш корисні варіанти, такі як --dryrun та --delete (для дзеркала), перелічені на веб-сторінці http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

— jmnben
джерело

4

Ви можете просто змонтувати відро на локальному рівні за допомогою s3fs, а потім скористатися rsync для копіювання до цієї точки монтування.

— GJ.
джерело

2

Це звучить весело, але, безумовно, читатимуться на місцях, щоб порівняти хеші, що перемагає мету rsync ... Ні?

— Девід Фрейзер

0

Jungle Disk - це простий спосіб резервного копіювання файлів на Amazon S3 (підписка, включаючи акаунт S3, але ви можете використовувати будь-який інший обліковий запис AWS). Можливо, ви також можете ознайомитись із Super Flexible (лише програмне забезпечення).

— парадироїд
джерело