Копіювати велике дерево каталогів локально? cp чи rsync?

Я маю скопіювати велике дерево каталогів, близько 1,8 ТБ. Це все місцеве. Я б за звичкою користувався rsync, проте мені цікаво, чи є багато сенсу, і чи варто скористатися cp.

Мене хвилюють дозволи та uid / gid, оскільки вони мають бути збережені в копії (я знаю, що rsync це робить). А також такі речі, як символьні посилання.

Пункт призначення порожній, тому мені не потрібно турбуватися про умовне оновлення деяких файлів. Це все локальний диск, тому мені не потрібно турбуватися про ssh чи мережу.

Причина, яку я спокусив би від rsync, полягає в тому, що rsync може зробити більше, ніж мені потрібно. rsync файли контрольних сум. Мені це не потрібно, і я стурбований тим, що це може зайняти більше часу, ніж ср.

То що ви вважаєте, rsyncчи cp?

Я би використовував rsync, оскільки це означає, що якщо він перерваний з будь-якої причини, то ви можете легко його перезапустити з дуже невеликими витратами. А будучи rsync, він навіть може перезапустити частину через великий файл. Як зазначають інші, він може легко виключати файли. Найпростіший спосіб зберегти більшість речей - це використовувати -aпрапор - "архів". Тому:

rsync -a source dest

Хоча UID / GID та символьні посилання зберігаються -a(див. -lpgo), Ваше запитання означає, що ви можете отримати повну копію інформації файлової системи; і -aне включає жорсткі посилання, розширені атрибути або ACL (на Linux) або вищевикладені вилки або ресурси (на OS X.) Таким чином, для надійної копії файлової системи вам потрібно буде включити ці прапори:

rsync -aHAX source dest # Linux
rsync -aHE source dest  # OS X

ЦП за замовчуванням почнеться знову, хоча -uпрапор "копіюється лише тоді, коли файл SOURCE буде новішим, ніж цільовий файл, або коли файл відсутній" . І -aпрапор (архіву) буде рекурсивним, а не копіювати файли, якщо вам доведеться перезапустити та зберегти дозволи. Тому:

cp -au source dest

Під час копіювання в локальну файлову систему я завжди використовую такі параметри rsync:

# rsync -avhW --no-compress --progress /src/ /dst/

Ось мої міркування:

-a is for archive, which preserves ownership, permissions etc.
-v is for verbose, so I can see what's happening (optional)
-h is for human-readable, so the transfer rate and file sizes are easier to read (optional)
-W is for copying whole files only, without delta-xfer algorithm which should reduce CPU load
--no-compress as there's no lack of bandwidth between local devices
--progress so I can see the progress of large files (optional)

Я бачив на 17% швидші передачі, використовуючи наведені вище параметри rsync для наступної команди tar, запропонованої іншою відповіддю:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Коли мені доводиться копіювати велику кількість даних, я зазвичай використовую комбінацію дьогтю та rsync. Перший прохід - це його націлити, приблизно так:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Зазвичай із великою кількістю файлів знайдуться файли, з якими з будь-якої причини не може працювати. Або, можливо, процес буде перервано, або якщо це міграція файлової системи, ви, можливо, захочете зробити початкову копію перед фактичним кроком міграції. У будь-якому випадку, після початкової копії, я роблю крок rsync, щоб синхронізувати все це:

# cd /dst; rsync -avPHSx --delete /src/ .

Зверніть увагу на те, що кінець косої риски /src/є важливим.

rsync

Ось rsync, який я використовую, я віддаю перевагу cp для простих команд, а не цього.

$ rsync -ahSD --ignore-errors --force --delete --stats $SRC/ $DIR/

cpio

Ось спосіб, який ще безпечніший, cpio. Це приблизно так швидко, як дьоготь, можливо, трохи швидше.

$ cd $SRC && find . -mount -depth -print0 2>/dev/null | cpio -0admp $DEST &>/dev/null

дьоготь

Це також добре, і продовжується на помилках читання.

$ tar --ignore-failed-read -C $SRC -cf - . | tar --ignore-failed-read -C $DEST -xf -

Зауважте, що це лише для місцевих копій.

Що б ти не віддав перевагу. Просто не забувайте про -aвимикач, коли ви вирішили використовувати cp.

Якщо вам справді потрібна відповідь: я б використовував rsync, оскільки він набагато гнучкіший. Потрібно відключитись до завершення копіювання? Просто ctrl-c і відновіть, як тільки спина. Потрібно виключити деякі файли? Просто використовуйте --exclude-from. Потрібно змінити право власності чи дозволи? rsync зробить це за вас.

rsyncКоманда завжди обчислює контрольні суми на кожен байте він передає.

Параметр командного рядка --checksumстосується лише того, чи використовуються контрольні суми файлів для визначення, які файли потрібно передавати чи ні, тобто:

-c, --checksum пропустити на основі контрольної суми, а не за часом та розміром "

На сторінці відображається також таке:

Зауважте, що rsync завжди перевіряє, що кожен переданий файл був реконструйований правильно на приймальній стороні, перевіряючи його контрольну суму всього файлу, але що автоматична перевірка після передачі не має нічого спільного з цим параметром перед передачею "Чи потрібен цей файл бути оновленим? " перевірити.

Так rsyncсамо, завжди, обчислюється контрольна сума всього файлу на стороні, що приймає, навіть коли -c/ --checksumпараметр "вимкнено".

rsync -aPhW --protocol=28допомагає пришвидшити ці великі копії за допомогою RSYNC. Я завжди rsync, тому що думка пройти через 90GiB і вона порушує мене від CP

rsync чудовий, але має проблеми з дійсно великими деревами каталогів, оскільки він зберігає дерева в пам'яті. Я просто шукав, чи зможуть виправити цю проблему, коли знайшов цю тему.

Я також виявив:

http://matthew.mceachen.us/geek/gigasync/

Ви також можете вручну розбити дерево і запустити кілька rsyncs.

Ця нитка була дуже корисною, і оскільки було так багато варіантів для досягнення результату, я вирішив порівняти їх декілька. Я вважаю, що мої результати можуть бути корисними, щоб інші відчули, що працює швидше.

Для того, щоб перемістити 532 Гб даних, розподілених між 1 553 200 файлами, у нас були ті часи:

• rsync зайняли 232 хвилини
• tar зайняло 206 хвилин
• cpio зайняло 225 хвилин
• rsync + parallel зайняло 209 хвилин

У моєму випадку я вважав за краще використовувати rsync + parallel. Я сподіваюся, що ця інформація допомагає більшості людей визначитися з цими альтернативами.

Повний орієнтир опублікований тут

Коли я роблю локальну копію локального каталогу, мій досвід полягає в тому, що "cp -van src dest" на 20% швидше, ніж rsync. Що стосується перезавантажуваності, то це робить "-n". Вам просто потрібно rm частково скопійований файл. Не боляче, якщо це не ISO або якесь таке.

АРЖ ТАКЕ СТАРА ШКОЛА !! Я дуже сумніваюся, що ARJ та / або rsync дадуть продуктивність.

Безумовно, що я завжди роблю, це використовувати cpio:

find . -print | cpio -pdm /target/folder

Це майже швидко, ніж CP, безумовно, швидше, ніж дьоготь і без нічого труби.

Ви обов'язково хочете спробувати rclone . Ця річ з розуму швидко:

sudo rclone sync /usr /home/fred/temp -P -L --transfers 64

Transferred:       17.929G / 17.929 GBytes, 100%, 165.692 MBytes/s, ETA 0s
Errors:                75 (retrying may help)
Checks:            691078 / 691078, 100%
Transferred:       345539 / 345539, 100%
Elapsed time:     1m50.8s

Це локальна копія з та на жорсткий диск LITEONIT LCS-256 (256 ГБ).

Ви можете додати --ignore-checksumпід час першого запуску, щоб зробити його ще швидшим.

Обидва будуть працювати чудово.

tar також зробив би цю роботу, але не продовжуватиме її переривати, як і rsync.

Що робити, якщо ви використовуєте ARJ?

arj a -jm -m1 -r -je filepack /source

де -jm -m1рівні стиснення і -jeробить його виконуваним. Тепер у вас є інкапсульований баш файлів.

Потім для вилучення на цільову карту

filepack -y  

де буде зроблена вихідна карта (де -yзавжди приймається, перезаписується, пропускається тощо)

Потім можна скапати ftp пакет файлів до цільової області та виконати його, якщо це можливо.

Є кілька прискорень, які можна застосувати до rsync:

Уникайте

• -z/ --compress: стиснення завантажує лише процесор, оскільки передача відбувається не через мережу, а через оперативну пам’ять.
• --append-verify: відновити перервану передачу. Це звучить як гарна ідея, але він має небезпечний випадок відмови: будь-який файл призначення такого ж розміру (або більше), ніж джерело, буде ІГНОРОВАНО. Крім того, він перевіряє суми всього файлу в кінці, тобто немає значної швидкості --no-whole-fileпри додаванні небезпечного випадку відмови.

Використовуйте

• -S/ --sparse: перетворити послідовності нулів у розріджені блоки
• --partialабо -Pщо --partial --progress: зберегти будь-які частково передані файли для подальшого відновлення. Примітка. Файли не матимуть тимчасового імені, тому переконайтеся, що ніхто не очікує використання пункту призначення, поки вся копія не буде завершена.
• --no-whole-fileтак що все, що потрібно повторити, використовує передачу дельти. Читання половини частково переданого файлу часто набагато швидше, ніж його повторне написання.
• --inplace щоб уникнути копіювання файлу (але тільки якщо нічого не читає пункт призначення, поки вся передача не завершиться)