Перенесіть 10 ТБ файлів із США до Великобританії в центр обробки даних

Я переміщую свій сервер із США до Великобританії з одного центру даних в інший. Мій хост сказав, що я повинен мати можливість досягти 11 мегабайт в секунду.

Операційна система - це Windows Server 2008 з обох кінців.

Мій середній розмір файлу становить близько 100 МБ, а дані розділені на п'ять накопичувачів 2 ТБ.

Який би був рекомендований спосіб передачі цих файлів?

• FTP
• SMB
• Rsync / Робокопія
• Інший?

Мене не надто турбує безпека, оскільки це все-таки загальнодоступні файли, але я просто хочу рішення, яке може підштовхнути повну швидкість передачі 11 Мб / с, щоб мінімізувати загальний час передачі.

Натомість надсилайте жорсткі диски через океан.

При 11 Мбіт / с при повному використанні ви дивитесь лише на 90 днів, щоб переказати 10 ТБ.

11 Мбіт / с = 1,375 Мбіт = 116,015 ГБ / день .

10240 ГБ / 116.015 ГБ / день = ~ 88,3 дня .

Я б сказав, rsync, при 11 Мб / с ви подивитесь на 10-14 днів, і навіть якщо вас перерве, rsync легко запуститься там, де він зупинився минулого разу.

На швидкості 11 Мбіт / с я поставляю жорсткі диски, як було запропоновано вище :)

Rsync звичайно.

Принаймні, ви можете продовжити в будь-який час після перерви, і це без жодного болю.

Ніколи не недооцінюйте пропускну здатність вагона станції, повного стрічок

- Трад.

У вашому випадку диски або стрічки, надіслані кур’єром, але принцип все-таки діє. Якщо вас не турбує затримка, це буде значно дешевше, ніж пропускна здатність мережі для передачі даних 10 ТБ за будь-який розумний проміжок часу.

Ви повинні використовувати rsync. Він буде стискати дані та дедублювати їх перед надсиланням. Він також може відновити часткові трансфери, що дуже важливо для будь-яких великих переказів.

Ймовірно, він не передає 10 ТБ; якщо це журнали та текст, і він може бути менше 1 ТБ; можливо, нижче 1 ТБ.

Є інструменти, які краще справляються зі стисненням, ніж rsync і, ймовірно, знаходять більше збігів. Ви можете використовувати lrzipі т.д.

Існують конкретні типи даних, які не стискаються та не містять буквальних даних - наприклад, відео та інші носії інформації. У таких випадках FTP і rsync докладають майже однакових зусиль.

Я знаю, що це вже прийнято, але ви розглядали можливість перевезти свої диски в центр обробки даних / провайдера / хоста, де ви можете отримати більшу пропускну здатність? Це, ймовірно, обійдеться вам трохи грошей, але копіювання 10240Gb на резервні диски та надсилання також коштуватимуть і часу, і грошей (2 х гроші).

Також ви будете впевнені, що ваші диски не зламаються в транспорті.

11 Мбіт / с? Це досить обмеження, яке ви маєте тут. У вашій ситуації я просто:

• Клоніруйте дані
• Стисніть його
• Оренда серверів на обох кінцях принаймні в 10 разів більша пропускна здатність (в тих самих центрах обробки даних або на вашому кінці в центрі обробки даних поблизу вас).
• Перенесіть файли
• Застосувати дані до нового сервера.

Якщо у вас дійсно немає рішення збільшити пропускну здатність ... Тоді доставка фізичного диска буде набагато швидшою.

З мого болісного досвіду жорсткі диски, як правило, зламаються в пошті ... USB-флешки - це краще рішення для частої передачі даних. У вашому випадку знадобиться декілька з них :) Тому надсилайте 2 копії своїх даних на декілька жорстких дисків.

Враховуючи кількість наявних даних, ви також можете надсилати диски з масиву RAID 5 або RAID 6, якщо у вас є те саме апаратне / програмне забезпечення з іншого боку, щоб підключити ваші диски. Але в цьому випадку не забудьте позначити порядок своїх дисків. і їх серійні номери, тому при перенастроюванні вони не змішуються.

Хоча в цьому випадку я маю згоду на відповідь "переслати це за допомогою жорстких дисків", ось рішення для копіювання, яке я використовую, коли мені вперше потрібно копіювати велику кількість файлів:

Хоча rsyncдобре зберігати два сховища даних синхронізовано, воно вводить зовсім небагато зайвих витрат для початкової передачі. Я зрозумів , що найшвидший шлях до tarякої отримує по трубопроводу через netcat. На сайті приймача ви також можете використовувати netcatв режимі прослуховування, який передає вхідні дані на витяг tar. Перевага полягає в тому, що він tarпочинає надсилати негайно і netcatнадсилає його як звичайний потік TCP без додаткових накладних протоколів вищого рівня. Це має бути якнайшвидшим, як це стає. Однак перезавантажити перервану передачу на останній позиції непросто.

Також легко можна стиснути дані для передачі, використовуючи правильні tarваріанти або додати інструмент стиснення в трубах. Зауважте, що netcatдату надсилається незашифрованою. У випадках, коли це не варіант, sshзамість цього можна використовувати зашифроване з'єднання ( tar <options> | ssh <target> -c 'tar -x <options>').

Якщо всі дані передаються, rsyncможна використовувати для забезпечення синхронізації всіх оновлених файлів тим часом. Також IIRC tarне створює сокети, які втрачаються в іншому випадку, але вони все одно не використовуються для даних центру даних.

Чи розглядали ви IPoAC ?

Один голуб може мати можливість переносити десятки гігабайт даних приблизно за годину, що на основі середньої пропускної здатності дуже сприятливо порівнюється з діючими стандартами ADSL навіть при обліку втрачених накопичувачів.

Знову ж таки, перша пропозиція - поставити накопичувачі.

Друга пропозиція - використовувати rsync для rsyncd, а не через SSH. Я спробував багато речей, і це, як правило, найшвидше. Не забудьте включити стиснення. Крім того, подивіться на збільшення або зменшення розміру буфера rsync, щоб отримати оптимальну швидкість передачі. Це також може допомогти збільшити розмір MTU . Це допомагає лише, якщо маршрутизатори на маршруті не фрагментують ваші пакети. Є способи визначити, чи є вони.

На жаль, немає налаштувань, які завжди найкращі. Вам доведеться експериментувати, щоб з’ясувати, що найкраще працює у вашій ситуації.

Ви згадали, що на серверах працює Windows 2008. Чи підходить Microsoft DFS ? У нижньому кінці є деяка магія, яка намагається вивести якомога більше пропускної здатності з з'єднання, наскільки це можливо, а також має стиснення та дедуплікацію (IIRC).

Зауважте, жорсткі диски, DVD-диски або BluRays були б швидшими ... Мій розрахунок становить 11 днів при повних 11 Мб / с ...

Для цього можна використовувати торрент.

Створіть приватний торрент на одному кінці та використовуйте клієнта з іншого.

Хоча на місці є шифрування, ви повинні перевірити свої вимоги.