Як я можу обчислити контрольну суму md5 каталогу?

Мені потрібно обчислити підсумкову контрольну суму md5 для всіх файлів певного типу ( *.pyнаприклад), розміщених під каталогом та всіх підкаталогів.

Який найкращий спосіб зробити це?

Редагувати: Запропоновані рішення дуже приємні, але це не зовсім те, що мені потрібно. Я шукаю рішення отримати єдину підсумкову контрольну суму, яка однозначно визначить каталог у цілому - включаючи вміст усіх його підкаталогів.

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

Команда find перераховує всі файли, які закінчуються у .py. Md5sum обчислюється для кожного файлу .py. awk використовується для вибору md5sums (ігнорування імен файлів, які можуть бути не унікальними). Md5sums сортуються. Потім md5сум цього відсортованого списку повертається.

Я перевірив це, скопіювавши тестовий каталог:

rsync -a ~/pybin/ ~/pybin2/

Я перейменував деякі файли в ~ / pybin2.

find...md5sumКоманда повертає той же результат для обох каталогів.

2bcf49a4d19ef9abd284311108d626f1  -

Створіть файл архіву дьогтю на льоту та трубі, який md5sum:

tar c dir | md5sum

Це створює єдиний md5sum, який повинен бути унікальним для налаштування вашого файлу та підкаталогу. На диску не створюються файли.

Пропозиція ire_and_curses щодо використання tar c <dir>має деякі проблеми:

• tar обробляє записи каталогу в тому порядку, в якому вони зберігаються у файловій системі, і немає можливості змінити цей порядок. Це ефективно дає абсолютно різні результати, якщо у вас є "однаковий" каталог у різних місцях, і я не знаю, як це виправити (tar не може "сортувати" свої вхідні файли у певному порядку).
• Мені зазвичай цікаво, чи однакові номери групи і власника, не обов'язково, чи однакові рядкові представлення групи / власника. Це відповідає тому, що, наприклад, rsync -a --deleteробить: він синхронізує практично все (мінус xattrs та acls), але він буде синхронізувати власника та групу на основі їх ідентифікатора, а не на рядковому поданні. Отже, якщо ви синхронізували з іншою системою, яка не обов'язково має однакових користувачів / груп, вам слід додати --numeric-ownerпрапор до tar
• tar буде містити ім'я файлу каталогу, який ви перевіряєте, лише щось, про що слід пам’ятати.

Поки немає виправлення першої проблеми (або якщо ви впевнені, що вона не впливає на вас), я б не використовував такий підхід.

На findоснові рішення , запропоновані вище , не є також недобре , тому що вони включають в себе тільки файли, які не каталоги, що стає проблемою , якщо вас контрольної суми слід мати на увазі порожні каталоги.

Нарешті, більшість запропонованих рішень не сортуються послідовно, оскільки порівняння може бути різним у різних системах.

Це рішення, яке я придумав:

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

Примітки щодо цього рішення:

• Потрібно LC_ALL=Cзабезпечити надійний порядок сортування по всіх системах
• Це не відрізняє каталог "name \ nwithanewline" та два каталоги "name" та "withanewline", але шанс виникнення цього видається дуже малоймовірним. Зазвичай це фіксується -print0прапором, findале оскільки тут відбуваються інші речі, я бачу лише рішення, які б ускладнювали команду, тоді це варто.

PS: одна з моїх систем використовує обмежену службову скриньку, findяка не підтримує -execні -print0прапори, а також додає '/' для позначення каталогів, тоді як Findutils не здається, тому для цієї машини мені потрібно запустити:

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

На щастя, у мене немає файлів / каталогів з новими рядками в їхніх назвах, тому це не проблема в цій системі.

Якщо ви дбаєте лише про файли, а не про порожні каталоги, це добре працює:

find /path -type f | sort -u | xargs cat | md5sum

Для повноти є md5deep (1) ; це не застосовується безпосередньо через вимогу до * .py фільтра, але має спрацьовувати разом із find (1).

Рішення, яке найкраще працювало для мене:

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

Причина, чому це найкраще працювало для мене:

1. обробляє імена файлів, що містять пробіли
2. Ігнорує метадані файлової системи
3. Виявляє, якщо файл було перейменовано

Питання з іншими відповідями:

Метадані файлової системи не ігноруються для:

tar c - "$path" | md5sum

Не обробляє імена файлів, що містять пробіли, і не визначає, чи файл був перейменований:

find /path -type f | sort -u | xargs cat | md5sum

Якщо ви хочете, щоб один md5sum охоплював весь каталог, я б зробив щось подібне

cat *.py | md5sum 

Перевіряємо всі файли, включаючи вміст та їхні назви файлів

grep -ar -e . /your/dir | md5sum | cut -c-32

Те саме, що вище, але лише файли * .py

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

Ви також можете слідувати посиланнями, якщо хочете

grep -aR -e . /your/dir | md5sum | cut -c-32

Інші параметри, які ви можете розглянути з використанням grep

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

GNU знайти

find /path -type f -name "*.py" -exec md5sum "{}" +;

Технічно потрібно лише бігати ls -lR *.py | md5sum. Якщо ви не переживаєте за те, щоб хтось змінив файли і не торкнувся їх до їх початкових дат і ніколи не змінив розміри файлів, вихідний lsфайл повинен повідомити вам, чи змінився файл. Мій unix-foo слабкий, тому вам може знадобитися ще кілька параметрів командного рядка, щоб отримати час створення та час модифікації для друку. lsтакож підкаже, чи змінилися дозволи на файли (і я впевнений, що є перемикачі, щоб вимкнути це, якщо про це вам все одно).

Використання md5deep:

md5deep -r FOLDER | awk '{print $1}' | sort | md5sum

У мене була така ж проблема, тому я придумав цей скрипт, який просто перелічує md5sums файлів у каталозі, і якщо він знайде підкаталог, він знову запускається звідти, щоб це сталося, сценарій повинен бути в змозі пройти через поточний каталог або з підкаталогу, якщо зазначений аргумент передається в $ 1

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

Якщо ви хочете по-справжньому незалежно від атрибутів файлової системи та різниць бітових рівнів деяких версій tar, ви можете використовувати cpio:

cpio -i -e theDirname | md5sum

Є ще два рішення:

Створити:

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

Перевірка:

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file

md5sumдобре працював для мене, але у мене виникли проблеми з sortсортуванням імен файлів. Тому замість цього я сортував за md5sumрезультатами. Мені також потрібно було виключити деякі файли, щоб створити порівнянні результати.

find . -type f -print0 \ | xargs -r0 md5sum \ | grep -v ".env" \ | grep -v "vendor/autoload.php" \ | grep -v "vendor/composer/" \ | sort -d \ | md5sum