знайти | xargs shasum створює контрольну суму файлу контрольної суми (передчасно) і виходить з ладу під час перевірки

Моя проблема (у сценарії з #!/bin/sh) полягає в наступному: я намагаюся перевірити всі файли в каталозі для архівних цілей. Файл контрольної суми (в моєму випадку sha1) з усіма іменами файлів повинен міститися в одному каталозі. Скажімо, у нас є каталог ~/testз файлами f1та f2:.

mkdir ~/test
cd ~/test
echo "hello" > f1
echo "world" > f2

Тепер обчислюємо контрольні суми за допомогою

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum

робить саме те, що я хочу, він перераховує всі файли поточного каталогу і обчислює ша1 суми (maxdepth може бути змінено пізніше). Вихід на STDOUT:

f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2

На жаль, при спробі зберегти це у файл із

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum > sums.sha1

отриманий файл відображає контрольну суму для себе:

da39a3ee5e6b4b0d3255bfef95601890afd80709  sums.sha1
f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2  

і тому не вдається пізніше shasum --checkчерез очевидну проблему додаткової модифікації файлу при збереженні останньої суми.

Я озирнувся і, використовуючи -pпрапор для xargs, я виявив, що він якимось чином створює вихідний файл перед тим, як навіть виконати команду find, тому додатковий файл знайдеться і буде перевірено ...

Я знаю, що як вирішення проблеми я міг би зберегти контрольну суму в інше місце (тимчасовий каталог через mktemp) або виключити її в пошуку спеціально, але я хотів би зрозуміти, чому вона поводиться так, як це відбувається - що, на мої очі, не так корисно, наприклад, якщо перша команда перевірить, чи файл виводу вже на диску, він ніколи не отримає правильну відповідь ...

Ви можете запобігти тому, щоб файл не xargsвикористовував:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\n' |
  xargs -r shasum -- > sums.sha1

Щоб запобігти проблемам з іменем файлів, які містять пробіли чи нові рядки, лапки або косої риски, я б використовував:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\0' |
  xargs -r0 shasum -- > sums.sha1

замість цього.

Потрібно --уникати проблем з іменами файлів, які починаються з -. Однак це не допоможе для файлу, який називається -. Якби ви використовували -print0замість цього -printf '%P\0', вам не знадобився --б і не виникли б проблеми з -файлом.

Оскільки ви користуєтесь -maxdepth 1, я припускаю, що ви не хочете рекурсії. Якщо так, просто зробіть це в оболонці:

for f in ~/test/*; do
    shasum -- "$f"
done > sums.sha1

Щоб пропустити каталоги, ви можете:

for f in ~/test/*; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Якщо вам потрібна рекурсія і ви використовуєте bash, виконайте:

shopt -s globstar
for f in ~/test/**; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Зауважте, що всі ці підходи мають користь для роботи над довільними іменами файлів, у тому числі з пробілами, новими рядками чи чим-небудь іншим.

з zsh:

shasum -- *(D.) > sums.sha1

Глобус буде розширений до того, як буде зроблено перенаправлення, тому sums.sha1заголовок не буде включено, якщо його там не було в першу чергу.

Dполягає в тому, щоб включити дот-файли (приховані файли) як findби. .полягає у виборі лише звичайних файлів (наприклад, ваших -type f).

У sums.sha1будь-якому разі виключити, якщо він був там у першу чергу:

setopt extendedglob # best in ~/.zshrc
shasum -- ^sums.sha1(D.) > sums.sha1

Зауважте, що вони виконують одну команду шасума, тож ви можете побачити помилку "Аргумент задовгий", якщо список величезний. Щоб обійти це:

autoload zargs
zargs -e/ -- *(D.) / shasum > sums.sha1

Я рекомендую використовувати ./*замість цього, *щоб уникнути можливих проблем з файлом, який називається -.

Як було сказано в інших відповідях, проблема полягає в тому, що оболонка відкривається і створює sums.sha1файл, перш ніж виконати ваш конвеєр. Ви можете використовувати програму, spongeяка є частиною moreutilsпакету багатьох дистрибутивів. На відміну від оболонки перенаправлення spongeбуде чекати, поки воно отримає все, перш ніж відкрити файл. Зазвичай він використовується, коли ви хочете записати прочитаний файл у тому ж конвеєрі.

У вашому випадку він використовується таким чином:

$ find -maxdepth 1 -type f -printf '%P\n' |xargs shasum |sponge sums.sha1
$ cat sums.sha1
31836aeaab22dc49555a97edb4c753881432e01d  B
7d157d7c000ae27db146575c08ce30df893d3a64  A

В якості альтернативи знаходженню / xargs тощо ви можете захотіти sha1deep. Це, мабуть, інший пакет - на моєму коробці він знаходиться в пакеті md5deep.

Як говорили інші, sums.sha1 створюється оболонкою ще до початку пошуку. Трюк з ! -name sums.sha1до findбуде працювати, як буде

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum | grep -v ' sums\.sha1$' > sums.sha1