Передача близько 300 Гб файлів з одного сервера на інший

У мене є близько 200 000 файлів, які я сьогодні передаю на новий сервер. Я раніше нічого не робив у таких масштабних масштабах, і хотів отримати поради, як мені це робити. Я переміщую їх між двома дистрибутивами Centos 6, і вони знаходяться в різних місцях країни. У мене не вистачає місця на жорсткому диску на оригінальному сервері, щоб відстежувати всі каталоги та файли в один масивний тарбол, тому моє питання полягає в тому, як мені передати всі ці файли? rsync? якийсь особливий спосіб використання rsync? Будь-які введення / пропозиції щодо того, як це зробити, були б вражаючими.

Спасибі

EDIT: Для тих, хто цікавиться, я ВАЖНО пропоную використовувати команду a screenпід час виконання такої великої rsyncкоманди. Особливо, коли може статися щось нерозумно, і ви втрачаєте зв’язок із сервером A, з якого ви запускаєте rsyncкоманду. Потім просто зніміть екран і відновіть його пізніше.

Просто конкретизації Саймона відповіді , rsyncє ідеальним інструментом для роботи:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Припускаючи, що у вас є ssh доступ до віддаленої машини, ви хочете зробити щось подібне:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Це дозволить скопіювати каталог path/to/local/fooна /path/to/remote/barна віддаленому сервері. Буде створений новий підкаталог з назвою bar/foo. Якщо ви хочете скопіювати лише вміст каталогів, не створюючи каталог із цим іменем у цілі, додайте косу рису:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Це скопіює вміст foo/у віддалений каталог bar/.

Кілька відповідних варіантів:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Це залежить від того, наскільки швидко його потрібно скопіювати, і яка пропускна здатність доступна.

Для поганого підключення до мережі врахуйте пропускну здатність вантажівки, заповненої стрічками. (Читайте: надішліть 2,5-дюймовий жорсткий диск або просто занесіть його туди самостійно. 300 гігабітних накопичувачів легко знайти).

Якщо це менше критичного часу або у вас багато пропускної здатності, то rsync чудово. Якщо є помилка, ви можете просто продовжити, не повторно копіюючи попередні файли.

[Редагувати] Я забув додати, що ви можете запустити rsync кілька разів, якщо ваші дані будуть використані під час копіювання.

Приклад:
1) Дані, які використовуються. Rsync -> Усі дані копіюються. Це може зайняти деякий час.
2) Запустіть rsync ще раз, копіюються лише змінені файли. Це повинно бути швидким.

Це можна зробити кілька разів, поки не буде змін, або ви можете зробити це розумним / безпечним способом, зробивши дані лише для читання під час копіювання. (наприклад, якщо ви використовуєте спільний набір, який надає спільний доступ лише для читання. Або rsync даних, тоді вночі встановлюйте лише для читання, коли ви запускаєте його вдруге).

Я б пішов на rsync! Я використовую його для резервного копіювання свого сервера на сторонній сервер, і він прекрасно працює. Зазвичай є кілька МБ, щоб скопіювати, але за кілька днів вона доходить до 20-30 ГБ, і вона завжди працювала без проблем.

rsync через NFS за допомогою гігабітного з'єднання займе близько 10 годин. Краще буде скопіювати дані на жорсткий диск і перемістити їх між серверами. Якщо вам потрібно зробити копію фактично диска, використовуйте dd або щось подібне, щоб створити неочищене зображення диска. Використання ssh (scp) викликає величезні накладні витрати. Емпірично перевірено на гігабітному з'єднанні. rsync добре допомагає здійснювати поступову синхронізацію між двома серверами, які використовуються в режимі HA або в режимі резервного копіювання. Я вважаю.

перше використання NFS та tar / untar (NFS - це найшвидший протокол у цьому випадку, tar для збереження пропускної здатності мережі за рахунок більшого використання процесора)

tar cf - * | ( cd /target; tar xfp -)

наступного разу використовувати rsync