Оптимізація rsync для швидкої передачі величезних файлів


19

Це те, що мені потрібно:

  • Демон Rsync працює на вихідному сервері. Цільовий сервер виконує rsync як нижче:
    rsync -ptv rsync: // source_ip: документ / source_path / *. abc призначення_path /
  • Величезні бінарні файли (від 3 до 5 ГБ) копіюються з вихідної машини до місця призначення через локальну мережу. Тому шифрування / розшифрування не потрібно. Отже, не використовувати SSH. Машина призначення безпосередньо підключається до демона rsync.
  • Перед тим, як потягнути rsync, папка призначення завжди буде порожньою. Тому мені не потрібно турбуватися про умовне оновлення деяких файлів. Витягнення Rsync завжди створюватиме нові файли за призначенням (не оновлювати). Отже, мені не потрібен rsync для обчислення контрольних сум.

Я не задоволений кількістю процесора, спожитого rsync на кінці прийому? Які параметри rsync допоможуть мені оптимізувати використання rsync у вищеописаному випадку. Мене хвилює те, що rsync може робити більше, ніж те, що мені потрібно. rsync файли контрольних сум. Мені це не потрібно.

Також хотілося б побачити покращення швидкості.

Допоможе змінити розмір блоку, відключити контрольну суму тощо?


Не використовуйте rsync, якщо немає дельт для передачі.
жіноча

3
@womble: Який інструмент я повинен використовувати тоді? Тут запропоновано Rsync- serverfault.com/questions/384467/…
Варун

netcat або scp з нульовим шифром.
живіт

3
Scp з нульовим шифром? Ви впевнені, що scp підтримує нульовий шифр. Чи можете ви, будь ласка, навести один приклад або вказати на відповідні ресурси?
Варун

Відповіді:


25

Здається, ви, можливо, захочете поглянути на перемикач --whole-fileабо -Wпереключитись. Це ввімкнено за замовчуванням, якщо rsync робить локальні копії файлової системи, але я думаю, що документи рекомендують використовувати її, якщо швидкість локальної мережі висока та синхронізується по мережі.

В основному він вимикає алгоритм дельти rsync і просто передає весь файл, якщо він вважає, що це інше.

Вам не доведеться турбуватися про контрольну суму, якщо не примушуєте -c. За замовчуванням він просто переглядає останній змінений час та розмір файлу та припускає, що файли відрізняються, якщо ці значення відрізняються.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.