який найшвидший і найнадійніший спосіб передачі багатьох файлів?

Я намагаюся передати близько 100 К файлів загальною сумою 90 Гб. Зараз я використовую демон rsync, але його повільні 3,4 Мб / с, і мені потрібно це зробити кілька разів. Мені цікаво, що у мене є варіанти, які б забезпечили максимальне 100-бітне з'єднання через Інтернет та були б дуже надійними.

Чи розглядали Ви Sneakernet ? Завдяки великим наборам даних, доставка через ніч часто буде швидшою та дешевшою, ніж передача через Інтернет.

Як? Або TL; DR

Найшвидший метод , який я знайшов це поєднання tar, mbufferі ssh.

Наприклад:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Використовуючи це, я домігся стійких передач локальної мережі понад 950 Мбіт / с на 1Gb посиланнях. Замініть шляхи в кожній команді tar, щоб вони відповідали тому, що ви передаєте.

Чому? mbuffer!

Найбільшим вузьким місцем у передачі великих файлів по мережі є, безумовно, дисковий введення / вивід. Відповідь на це - mbufferабо buffer. Вони багато в чому схожі, але mbufferмають деякі переваги. Типовий розмір буфера - 2 Мб для mbufferта 1 МБ для buffer. Більші буфери швидше ніколи не будуть порожніми. Вибір розміру блоку, який є найменшим загальним кратним нативного розміру блоку як у цільовій, так і в цільовій файловій системі, дасть найкращі показники.

Буферизація - це річ, яка має все значення! Використовуйте його, якщо у вас є! Якщо у вас її немає, дістаньте її! Використовувати (m}?bufferплюс що-небудь краще, ніж щось саме по собі. це майже буквально панацея від повільної передачі мережевих файлів.

Якщо ви переносите кілька файлів, використовуйте їх tarдля "згуртування" разом в один потік даних. Якщо це один файл, ви можете використовувати catабо переадресацію вводу / виводу. Накладні витрати tarпорівняно з catстатистично незначними, тому я завжди використовую tar(або zfs -sendтам, де можу), якщо це вже не тарбол . Жодне з них не гарантовано дає метадані (і, зокрема cat, не буде). Якщо ви хочете метаданих, я залишу це як вправу для вас.

Нарешті, використання sshтранспортного механізму є безпечним і несе в собі дуже невеликі витрати. Знову ж таки, накладні витрати sshпорівняно з ncстатистично незначними.

Ви згадуєте "rsync", тому я припускаю, що ви використовуєте Linux:

Чому б вам не створити файл tar або tar.gz? Час передачі одного великого файлу в мережі швидше, ніж у багатьох малих. Ви можете навіть стиснути його, якщо хочете ...

Дьоготь без стиснення:

На вихідному сервері:

tar -cf file.tar /path/to/files/

Потім на кінці прийому:

cd /path/to/files/
tar -xf /path/to/file.tar

Дьоготь з стисканням:

На вихідному сервері:

tar -czf file.tar.gz /path/to/files/

Потім на кінці прийому:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Ви просто використовуєте rsync для фактичної передачі файлів (tar | tar.gz).

Ви можете спробувати tarі sshтрюк описано тут :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

це може бути перезаписане на наступне :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Однак ви втратите --partialфункції rsyncцього процесу. Якщо файли не змінюються дуже часто, жити з повільним початковим моментом rsyncможе бути дуже вартим, оскільки це піде набагато швидше в майбутньому.

Можна використовувати різні варіанти стиснення rsync.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

Коефіцієнт стиснення для бінарних файлів дуже низький, тому ви можете пропустити ці файли, використовуючи --skip-компрес, наприклад iso, вже заархівовані та стислі тарболи тощо.

Я великий фанат SFTP. Я використовую SFTP для передачі медіа з основного комп'ютера на мій сервер. Я отримую хороші швидкості, через LAN.

SFTP є надійним, я б дав цей знімок, оскільки його легко встановити, а в деяких випадках це може бути швидшим.