Linux в Linux, 10 TB передача?

9

Я переглянув усі попередні подібні запитання, але відповіді, здавалося, були всюди, і ніхто не переміщав багато даних (100 ГБ відрізняється від 10 ТБ).

У мене близько 10 ТБ, що мені потрібно перейти від одного масиву RAID до іншого, гігабітного Ethernet, безкоштовної енциклопедії, файлових систем XFS . Моя найбільша стурбованість полягає в тому, щоб передати матрицю на півдорозі і не змогли легко відновитись. Швидкість була б непоганою, але забезпечення трансферу набагато важливіше.

Зазвичай я б просто tar & netcat, але RAID-масив, з якого я переїжджаю, був надзвичайно лускатим з пізнього часу, і мені потрібно мати змогу відновитись та відновитись, якщо він упустить середину процесу. Чи варто дивитись на rsync ?

Розглядаючи це трохи більше, я думаю, що rsync може бути надто повільним, і я хотів би уникнути цього, займаючи 30 та більше днів . Тому зараз я шукаю пропозиції щодо відстеження / відновлення передачі за допомогою netcat .

— загубленийкод
джерело

Мені іноді потрібно робити великі передачі файлів (але не 10 ТБ;) rsync має багато прапорів, деякі з них можуть вплинути на продуктивність великої передачі файлів (я думаю, --checksum та --archive можуть сповільнити вас, наприклад. Це матиме велику різницю при передачі 10 ТБ.). Хтось може порекомендувати хороші варіанти, які допоможуть оптимізувати продуктивність такої великої передачі файлів? Чи --block-size=SIZEдопоможе налаштування ?

— Стефан Ласєвський

чи все-таки потрібно видалити ssh накладні?

— загубленийкодекс

1

налаштувати rsyncd на кінець прийому? немає потреби в ssh

— cpbills

3

Запустіть демон rsync на приймальній стороні, а також клієнт на стороні, що надсилає.

— Призупинено до подальшого повідомлення.

2

Якщо ви не можете налаштувати Rsync демона на одній стороні і застряг з SSH, ви можете зменшити накладні витрати шифрування з менш хорошим шифруванням , як: Rsync -avz -e «SSH -c Arcfour» ДЖЕРЕЛО DEST

— David

14

так, rsync

Поза зовнішньою формою, нещодавно з'явилися функції асинхронізації DRBD.

— cagenut
джерело

1

+1 для Rsync. Король системних передач на Linux.

— grufftech

+1, rsync (а це колега Windows DeltaCopy) - це завершення ефективного дублювання файлів із сервера на сервер.

— Кріс С

1

+1 для rsync, але я б додав, що це може бути швидше зробити це "локально" через кріплення NFS, а не накладати накладні протоколи rsync або SSH.

— Джеймс Снерінгер

2

Ніколи не недооцінюйте пропускну здатність вагона станції, повного стрічок. 10 Тб було б можливо з відносно дешевим споживчим обладнанням NAS, якщо ви зможете поділити його на (скажімо, 2 ТБ) шматки. Якщо це одноразовий процес, то напівручний процес може бути працездатним, а NAS-2 на 2 ТБ - лише кілька сотень доларів.

Якщо вам потрібен процес, що триває, ви можете встановити RSYNC після того, як ви зробили початкову передачу.

— Занепокоєний щодоTunbridgeWells
джерело

У початковому запитанні було зазначено, що це вже є через локальну мережу.

— Ladadadada

1

Що видається занадто повільним та / або ненадійним для цілей ОП.

— ЗанепокоєнийOfTunbridgeWells

2

Мені довелося виконати подібне завдання кілька місяців тому. Я використовував паралельну rsync для прискорення процесу. Він розділив файли, які потрібно перенести / синхронізувати фрагментами, і їх можна відновити в будь-який час. Дивіться посилання нижче для паралельного сценарію rsync.

https://gist.github.com/rcoup/5358786

— П’єр Бергдолт
джерело

0

Ви можете спробувати налаштувати на сервері FTP-сервер із копіюваними даними та використовувати FTP-клієнт із "відновленням" на кінці прийому. Я використовую сервер Filezilla і клієнт, і я досить часто використовую функцію "відновити" клієнта, і це завжди працювало без перешкод.

— джамсбтат
джерело