Яку програму я повинен використовувати для передачі даних по 20 ТБ через мережу?

Мені потрібно скопіювати 20 ТБ даних на масив грому. У вікні, де є дані, немає громового з'єднання, тому для цього мені потрібно буде використовувати локальну мережу 1 Гб. (Так, це пройде назавжди).

Я спробував використати Filezilla / sftp, але він вийшов з ладу, коли черга зросла надто великою. Чи rsync чи scp шлях?

rsync - це хороший спосіб (scp майже однаковий з меншою кількістю функцій). Ви можете скористатись -Zопцією, яка дозволить стиснути zlib. Залежно від того, наскільки швидко ваші диски / комп’ютер, це може бути швидше, ніж надсилання нестиснених, тобто якщо ваше мережеве посилання насичене. Ви також можете скористатися параметром режиму архіву, -aякий буде зберігати символьні посилання, дозволи та час створення / модифікації, а також копіювати каталоги рекурсивно. Залежно від того, що ви копіюєте, ви можете захотіти, -Eщо зберігає розширені атрибути та вилки ресурсів mac. Нарешті, --progressпокаже інформацію про прогрес.

Хоча не настільки всюдисущий, як rsync, я раніше використовував інструмент виклику "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htm

Від Національних лабораторій Sandia - це інструмент копіювання файлів, який працює через SSH, спеціально оптимізований для насичення високошвидкісних мереж між близькими системами (наприклад, копіювання терабайт даних між двома суперкомп'ютерами на одному веб-сайті, підключеними через 10Gb + або Infiniband). Це добре працює, але може трохи пошкодити налаштування. Під час тестування я легко бачив, як він працює в 2х-3 рази швидше, ніж rsync.

Використовуйте rsync і подумайте про використання з rsyncd. Якщо ви використовуєте rsync без rsyncd, ви застрягли з використанням ssh, що означає використання якогось шифрування. Ви, ймовірно, копіюєте дані зі старої машини на нову машину, і на старшій машині може не вистачати процесора, щоб зашифрувати дані для передачі досить швидко, щоб наситити гігабітну мережу Ethernet. Перевірте передачу пакетів файлів, використовуючи обидва методи, і подивіться, який шлях швидший.

З цієї ж причини я б радив тестувати використання параметра стиснення rsync перед тим, як взяти на себе його використання. Стиснення - це ще одна активна діяльність процесора, яка може не встигати за швидкістю гігабітного Ethernet при спробі на старій апараті. rsync - це п'ятнадцятирічна програма, написана назад, коли більшість людей навіть у країнах першого світу мали доступ до Інтернету через комутований модем. Тоді пропускна здатність мережі порівняно з процесором значно відрізнялася.

Цей 20 Тб упакований у невелику кількість великих файлів (наприклад, відео, база даних монстрів) або мільйони менших файлів?

Якщо багато невеликих файлів, я б пішов з rsync для перезавантаження або трубопровідним потоком для ефективності (одне мережеве з'єднання для партії, почніть знову з початку, якщо воно не вдасться)

tar -cf - * | ( cd newhome; tar -xf - )

віддалена папка повинна бути змонтована.

Чи можете ви безпосередньо приєднати новий масив з іншим інтерфейсом? Місцева rsync не використовує ssh, тому ви видалите цю точку відмови. Так, Firewire 800 повільніше, ніж гігабітна Ethernet, але ви не можете завантажувати Ethernet до 100% - це може бути швидше за допомогою брандмауера. FYI ви також можете підключити мережевий брандмауер, якщо вікна досить близькі. Додайте інтерфейс у системні налаштування -> мережа.

Іншим варіантом буде спробувати Bittorrent Sync ( http://www.bittorrent.com/sync ). Я використовував його для синхронізації сімейних фотографій та відеозаписів між членами нашої родини по всій WAN, але немає причин, щоб вони не працювали в локальній мережі. Він використовує однорангові з'єднання, щоб дані не проходили через сервер, як це було б, якби ви спробували використати щось на зразок дроп-боксу (не те, що я думаю, у вас є 20 ТБ місця випадання або хочете чекати так довго, щоб завантажити стільки дані!)

Він також підтримується на декількох платформах, тому має більшу гнучкість, ніж rsync та tar.