Я хочу зробити нову копію великої кількості файлів з одного локального диска на інший.
Я читав, що rsync проводить порівняння контрольної суми файлів при відправці їх на віддалену машину по мережі.
Чи зробить rsync порівняння при копіюванні файлів між двома локальними дисками?
Якщо це робить перевірку - це безпечна ставка? Або краще робити байт за порівнянням байтів?
Відповіді:
rsync завжди використовує контрольні суми для перевірки правильності передачі файлу. Якщо файл призначення вже існує, rsync може пропустити оновлення файлу, якщо час і розмір модифікації відповідають вихідному файлу, але якщо rsync вирішить, що дані потрібно перенести, контрольні суми завжди використовуються для даних, переданих між процесами rsync надсилання та отримання. . Це підтверджує, що отримані дані такі ж, як дані, що надсилаються з високою ймовірністю, без великих витрат на порівняння рівня байтів по мережі.
Після отримання даних про файл rsync записує дані у файл і довіряє, що якщо ядро вказує на успішне записування, дані записуються без пошкодження на диск. rsync не читає дані та порівнюється з відомою контрольною сумою як додаткова перевірка.
Що стосується самої верифікації, для протоколу 30 і пізніше (вперше підтримується в 3.0.0) rsync використовує MD5 . Для старих протоколів використовується контрольна сума MD4 .
Хоча довго вважаються застарілими для безпечних криптографічних хешей, MD5 та MD4 залишаються достатніми для перевірки пошкодженості файлів.
Джерело: сторінка "man" та підсвічування вихідного коду rsync для підтвердження.
-cпрапора чоловічої сторінки : "Зауважте, що rsync завжди перевіряє, що кожен переданий файл був реконструйований правильно на приймальній стороні, перевіряючи контрольну суму цілого файлу, що генерується під час передачі файлу, але автоматично після передачі. перевірка не має нічого спільного з цим параметром перед передачею "Чи потрібно оновити цей файл?".
rsyncце НЕ робити перевірку після копіювання для локальних копій файлів. Ви можете переконатися, що це не вдалося rsyncскопіювати великий файл на повільний (тобто USB) диск, а потім скопіювати той самий файл cp, тобто:
time rsync bigfile /mnt/usb/bigfile
time cp bigfile /mnt/usb/bigfileОбидві команди займають приблизно однакову кількість часу, тому, rsyncможливо, не можна робити контрольну суму - оскільки це передбачає повторне зчитування файлу призначення з повільного диска.
На manжаль, сторінка з цього приводу вводить в оману. Я також перевірив це: straceпісля того, як копія буде завершена, rsyncне видає read()дзвінка в цільовий файл, тому його неможливо перевірити . Ще один ви можете перевірити це чимось на кшталт iotop: ви бачите, rsyncщо читаєте і пишете одночасно (копіюючи з джерела до місця призначення), після чого він виходить. Якби це перевіряло цілісність, була б фаза лише для читання.
rsync -cзнову запустите, якщо хочете змусити його перевірити.
rsyncпроводить порівняння контрольної суми перед копіюванням (у деяких випадках), щоб уникнути копіювання того, що вже є. Суть порівняльної контрольної суми не в тому, щоб перевірити, чи була копія успішною. Це завдання основної інфраструктури: драйверів файлової системи, драйверів дисків, мережевих драйверів тощо. Окремі додатки, такі як rsyncне потрібно морочитися цим безумством. Все, що rsyncпотрібно зробити (і робить!) - перевірити значення повернення системних викликів, щоб переконатися у відсутності помилок.
Швидкі та брудні відповіді, безпосередньо на запитання.
З: Чи rsyncпроведемо порівняння під час копіювання файлів між двома локальними дисками? A: Зробимо порівняння, щоб зрозуміти, що скопіювати.
Питання: Якщо вона робить перевірку - це безпечна ставка? Або краще робити байт за порівнянням байтів? Відповідь: настільки ж безпечна, як математика, що стоїть за контрольною сумою файлу MD5. Ви можете спробувати зробити простий експеримент, щоб навчитися та довіряти інструменту.
Довга відповідь: я думаю, ви хотіли rsyncзробити порівняння файлів (побіжно або за контрольною сумою) після копіювання файлів. Якщо ви одна з небагатьох, яка цінує цілісність даних, вам може здатися нижче корисне:
rsync -avh [source] [destination] && rsync -avhc [source] [destination]
rsyncпапка файлів коду при першому запуску, і якщо вона завершена без випуску, запуститься rsyncзнову, виконуючи порівняння імен файлів, використовуючи хеш всього файлу.Щоб гарантувати, що цей тест фізично перечитає файли з носія накопичувача, я пропоную вимкнути обидва диски та перезапустити їх перед запуском цього тесту. Це очистить їх внутрішні мінливі кеші.
Якщо також не перезапустити Linux, вам слід принаймні скинути кеші ( * ) за допомогою:
sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
Потім перечитайте обидва дерева та порівняйте їх контрольні суми:
rsync --dry-run --checksum --itemize-changes --archive SRC DEST
Сучасна контрольна сума rsync використовує MD5, що становить 128 біт. Ймовірність цього не виявити помилку в окремому файлі є астрономічно низькою (деяке обговорення тут ), але не неможливою.
--checksumпоки тест не пройде без нього.