Як використовувати btrfs для надсилання / отримання для передачі знімків резервного копіювання через повільне та ненадійне мережеве з'єднання?

11

Я хотів би скористатися функцією "btrfs" для надсилання / отримання для передачі знімків резервного копіювання через досить повільний (початковий набір близько 50-100 ГБ, пропускна здатність з точкою до 1-2 Мбіт / с) та ненадійний (щоденне вимушене переривання на обох кінцях) з'єднання.

Я бачу такі вимоги:

зашифрована передача (зазвичай досягається за допомогою тунелю SSH)
стійкість до перерваних з'єднань

Здається, ZFS здатний автоматично відновити перервані передачі , як і rsync. Чи стосується це також BTRFS? Сторінка вікі надсилання / отримання не є корисною щодо перерваних передач. Якщо btrfs відновить перервані перерви, все, що мені потрібно зробити, - це використовувати тунель SSH і відновити його, якщо буде перервано.

Якщо ні, мені доведеться використовувати між собою буфер, який переконуєсь, що btrfs-з'єднання витримало переривання, або наблизити обидва сервера один до одного для висіву насіння (що буде проблемою щодо доданих файлів, що перевищують щоденну передачу ємності та відправлення знімків).

Що мені доведеться врахувати для передачі насіння та знімків?

linux backup btrfs

— Єнс Ерат
джерело

8

Я деякий час використовував "btrfs send" для створення резервних копій. Він не обробляє відновлення зламаних передач. Я написав утиліту, яка відновлює передачу, і автоматично синхронізує знімки в локальній файловій системі btrfs до Amazon S3. Ви можете спробувати це, чи допоможе це, і я хотів би отримати будь-який відгук! Це і на GitHub ( https://github.com/AmesCornish/buttersink ), і на PyPi ( https://pypi.python.org/pypi/buttersink/ ).

— user80646
джерело

Однозначно я з цим загляну, як тільки у мене з’явиться вільний час. У вашому читанні сказано, що ssh-бекенд ще не реалізований, це означає, що синхронізація з віддаленою файловою системою btrfs все ще знаходиться в черзі?

— Єнс Ерат

звучить чудово, але, на жаль, мені теж потрібен SSH, щоб він був корисним.

— Маттіас Урліхс

2

Тепер впроваджений сервер SSH (станом на 0,6)

— user80646

4

"надіслати" у файл або по трубі. "отримати" з файлом або трубкою на іншому кінці. При сумнівному з’єднанні ви, швидше за все, найкраще працюєте з файлами та транспортом на зразок rsync.

— user66738
джерело

1

правильно, навіть можливо розділити файл на кілька фрагментів. Для rsync може бути краще відновити перервану передачу (або використовувати - частку з rsync)

— ascobol

1

На додаток до buttersinkрезюме S3, btrbkпідтримує:

Відновлення резервних копій (якщо ціль резервного копіювання деякий час не була доступна)

Редагувати: з тих пір я дізнався, що передача окремих знімків не поновлюється btrbk, проте вона матиме справу з ціллю резервного копіювання, яка переходить у режим офлайн (перезапуск передачі перерваного знімка).

— Том Хейл
джерело

Я, безумовно, ознайомлюсь із btrbkтим, як він реалізує поновлення передач, хоча мені дещо не подобається вибір мови програмування - але, здається, в значній мірі реалізується потрібний мені набір функцій.

— Єнс Ерат