Прискорити / уникати обчислення списків файлів rsync

Я використовую rsync 3.1.1 для синхронізації двох дисків, один з яких знаходиться в мережі та встановлений як спільний доступ самби /mnt/ROUTER_WD_2TB/. Це джерело зі швидкістю 30-40 МБ / с через обмеження в мережі. Інший, пункт призначення, встановлений локально (пік 110 МБ / с) і є /mnt/BACKUP_HITACHI_2TB/.

Я використовую таку команду rsync:

rsync  -haAXi --quiet --append-verify --delete /mnt/ROUTER_WD_2TB/* /mnt/BACKUP_HITACHI_2TB/.

Диски містять багато файлів, більшість з яких невеликі.

Проблема полягає в тому, що rsync займає досить тривалий час (10-20 м), перш ніж починати переміщувати будь-які файли, я думаю, тому що він повинен обчислити списки файлів для дуже великої кількості невеликих файлів. У цей період використання ньютворку сягає низьких 200-500 КБ / с, тоді як при передачі файлів швидкість становить близько 40 МБ / с.

Зазвичай трапляється, що rsync займає близько 15 м, щоб нарешті знайти щось, що потрібно скопіювати, потім потрібно 5 секунд, щоб скопіювати його, а потім продовжувати перевірку на копіювання інших файлів ще протягом 5 хвилин. Загалом, копія файлу на 5 секунд закінчується тривалістю 20 хвилин!

Чи можу я вжити заходів, щоб уникнути цього тривалого періоду до копіювання файлів, окрім виключення папок? Який-небудь "кеш-пам'ять" я можу реалізувати, щоб rsync не потребував перебудувати весь список файлів з нуля?

Що rsyncстосується того, ви копіюєте між двома локальними деревами файлів, тому він вимикає більшість оптимізацій (включаючи його дельта-алгоритм, яким він відомий). Якщо ви можете запустити rsyncна віддаленому сервері (таким чином, ви отримаєте справжній сценарій клієнт-сервер у вашій мережі), ви отримаєте значну кількість тяги.

Тим не менш, тут є інші варіанти, які слід розглянути

1. Копіювання, не турбуючись про видалення старих файлів. Це може дозволити вам виконувати більш швидку передачу частіше та відпускати повільну очистку, щоб сказати, лише один раз на день:

   cp -au /mnt/ROUTER_WD_2TB/. /mnt/BACKUP_HITACHI_2TB/
   

2. Використовуйте варіант rsyncалгоритму видалення за замовчуванням, щоб уникнути створення повного списку файлів перед передачею:

   rsync -haAXi --quiet --delete --delete-during /mnt/ROUTER_WD_2TB/ /mnt/BACKUP_HITACHI_2TB/
   

3. Розділіть каталоги верхнього рівня на окремі завдання та запустіть їх паралельно. Ви можете виявити, що якщо ви пов'язані з диском IO, це не дуже допоможе, а для спінінг блюд це майже напевно погіршить ситуацію.

   for d in /mnt/ROUTER_WD_2TB/*
   do
       rsync -haAXi --quiet --delete --delete-during "$d" /mnt/BACKUP_HITACHI_2TB/ >"/tmp/rsync.${d/*\/}.log" 2>&1 &
   done
   wait
   cat /tmp/rsync.*.log
   rm -f /tmp/rsync.*.log
   

Якщо жодне з цих пропозицій не допомагає , то це коштувало б додати ще один , --verboseщоб rsyncподивитися , що він робить. Я підозрюю, що він брязкає через усі незмінені файли, і якщо у вас достатньо файлів, це просто займає багато часу.

ви можете використовувати -vvдля перегляду всього журналу rsync.