Я шукаю простий спосіб (команда або серія команд, ймовірно, що стосуються find) пошуку дублікатів файлів у двох каталогах та заміни файлів в одному каталозі жорсткими посиланнями на файли в іншому каталозі.

Ось така ситуація: це файловий сервер, на якому кілька людей зберігають аудіофайли, кожен користувач має свою папку. Іноді у кількох людей є копії таких самих аудіофайлів. Зараз це дублікати. Я хотів би зробити так, щоб вони були жорсткими посиланнями, щоб заощадити місце на жорсткому диску.

На http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.pl є сценарій perl, який робить саме те, що ви хочете:

Проходьте всі каталоги, названі в командному рядку, обчисліть контрольні суми MD5 та знайдіть файли з однаковим MD5. Якщо вони рівні, зробіть реальне порівняння, якщо вони дійсно рівні, замініть другий з двох файлів міцним посиланням на перший.

rdfindробить саме те, що ви просите (і в порядку Джоні, чому списки). Дозволяє видаляти дублікати, замінювати їх м'якими або жорсткими посиланнями. У поєднанні з symlinksвами також можна зробити символьне посилання абсолютним або відносним. Можна навіть вибрати алгоритм контрольної суми (md5 або sha1).

Оскільки вона компілюється, це швидше, ніж у більшості сценаріїв: timeу папці 15 GiB з 2600 файлами на моєму Mac Mini з 2009 року це повертається

9.99s user 3.61s system 66% cpu 20.543 total

(за допомогою md5).

Доступний у більшості обробників пакетів (наприклад, MacPorts для Mac OS X).

Використовуйте fdupesінструмент:

fdupes -r /path/to/folderдає вам список дублікатів у каталозі (-r робить його рекурсивним). Вихід виглядає приблизно так:

filename1
filename2

filename3
filename4
filename5

при цьому ім'я файлу1 та ім’я2 однакові, а ім’я файлу3, ім’я файлу4 та ім’я файлу5 однакові.

Я використовую hardlinkз http://jak-linux.org/projects/hardlink/

Це одна з функцій, які надає "fslint" - http://en.flossmanuals.net/FSlint/Introduction

Натисніть кнопку "Об’єднати":

Оскільки ваша головна мета - економія місця на диску, є ще одне рішення: дедуплікація (і, можливо, стиснення) на рівні файлової системи. У порівнянні з рішенням жорсткого посилання, у нього немає проблеми ненавмисного впливу на інші пов'язані файли.

ZFS має дедуптування (блок-рівень, а не рівень файлу) з моменту пулу 23 та стиснення з давніх-давен. Якщо ви використовуєте linux, ви можете спробувати zfs-fuse , або якщо ви використовуєте BSD, він підтримується в основному.

У сучасному Linux сьогодні є https://github.com/g2p/bedup, який дедублює файлову систему btrfs, але 1) без великої кількості накладних сканувань, 2) файли можуть легко розходитись згодом.

Для пошуку дублікатів файлів можна використовувати duff .

Duff - це утиліта командного рядка Unix для швидкого пошуку дублікатів у заданому наборі файлів.

Просто запустіть:

duff -r target-folder

Щоб автоматично створити жорсткі посилання на ці файли, вам потрібно буде розібрати вихід duff з bash або іншою мовою сценаріїв.

aptitude show hardlink

Опис: Жорсткі посилання декількох копій одного файлу Hardlink - це інструмент, який виявляє кілька копій одного файлу та замінює їх жорсткими посиланнями.

Ідея взята з http://code.google.com/p/hardlinkpy/ , але код написаний з нуля та ліцензований під ліцензією MIT. Домашня сторінка: http://jak-linux.org/projects/hardlink/

Я використовував багато інструментів жорсткого посилання для Linux, згаданих тут. Я теж застряг у ext4 fs, на Ubuntu, і використовую його cp -l і -s для жорсткого / софт-посилання. Але останнім часом помітили легку копію на сторінці cp man, що означало б зекономити зайвий простір на диску, поки одна сторона не зміниться:

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

Мені здається, що спочатку перевірка імені файлу може пришвидшити ситуацію. Якщо двом файлам не вистачає однакового імені файлу, то в багатьох випадках я б не вважав їх дублікатами. Здається, що найшвидшим методом було б порівняння, щоб:

• ім'я файлу
• розмір
• md5 контрольна сума
• вміст байтів

Чи роблять це якісь методи? Подивіться duff, fdupes, rmlint, fslintі т.д.

Наступний метод отримав найкращі результати на commandlinefu.com : Знайдіть копії файлів (на основі спочатку розміру, а потім хеша MD5)

Чи можна порівняння назв файлів додати як перший крок, розмір як другий крок?

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

Оскільки я не шанувальник Perl, ось баш-версія:

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

Це знаходить усі файли з однаковою контрольною сумою (будь то великі, малі чи вже жорсткі посилання), і жорстко посилає їх разом.

Це може бути значно оптимізовано для повторних прогонів за допомогою додаткових прапорів пошуку (наприклад, розмір) та кеш-файлів (тому вам не доведеться щоразу повторювати контрольні суми). Якщо когось цікавить розумніша, довша версія, я можу розмістити її.

ПРИМІТКА: Як вже було сказано раніше, жорсткі посилання працюють до тих пір, поки файли ніколи не потребують модифікації або для переміщення через файлові системи.

Я створив сценарій Perl, який робить щось подібне до того, про що ви говорите:

http://pastebin.com/U7mFHZU7

По суті, він просто проходить каталог, обчислюючи SHA1суму файлів у ньому, хешируя його і зв'язуючи збіги разом. Це корисно в багатьох, багатьох випадках.

Якщо ви хочете замінити дублікати жорсткими посиланнями на mac або будь-якій системі UNIX, ви можете спробувати SmartDupe http://sourceforge.net/projects/smartdupe/ я його розробляю

Програми FSLint ( http://www.pixelbeat.org/fslint/ ) можуть знайти всі рівні файли у будь-якій папці (за вмістом) та створити жорсткі посилання. Спробувати!

Хорхе Сампайо

jdupes згадувалося в коментарі, але заслуговує на власну відповідь, оскільки він, мабуть, доступний у більшості дистрибутивів і працює досить швидко (він лише звільнив 2,7 ГБ 98% повного розділу 158 ГБ (накопичувач SSD) приблизно за одну хвилину):

jdupes -rL /foo/bar

Якщо ви робите жорсткі посилання, зверніть увагу на права на цей файл. Повідомлення, власник, група, режим, розширені атрибути, час та ACL (якщо ви використовуєте це) зберігаються в INODE. Тільки імена файлів відрізняються тим, що вони зберігаються в структурі каталогів, а інші вказують на властивості INODE. Внаслідок цього всі імена файлів, пов'язаних з одним і тим же входом, мають однакові права доступу. Вам слід запобігти модифікації цього файлу, оскільки будь-який користувач може пошкодити файл іншому. Це просто. Досить, будь-який користувач поставить інший файл з тим самим іменем. Потім номер вводу зберігається, а вихідний вміст файлу знищується (замінюється) для всіх твердих посилань.

Кращим способом є дедупликація на шарі файлової системи. Ви можете використовувати BTRFS (дуже популярний останній раз), OCFS або подібний. Подивіться на сторінку: https://en.wikipedia.org/wiki/Comppare_of_file_systems , спеціально за таблицею Особливості та дедуплікація даних стовпців. Ви можете натиснути на нього і сортувати :)

Особливо подивіться на файлову систему ZFS. Це доступно як FUSE, але таким чином це дуже повільно. Якщо вам потрібна підтримка, перегляньте сторінку http://zfsonlinux.org/ . Потім потрібно виправити ядро, а потім встановити інструменти zfs для управління. Я не розумію, чому linux не підтримує як драйвери, це для багатьох інших операційних систем / ядер.

Файлові системи підтримують дедуплікацію двома способами, дедупілюючими файлами або блоками. ZFS підтримує блок. Це означає, що той самий вміст, який повторюється в одному файлі, можна дедублювати. Інший спосіб - час, коли дані дедублюються, це може бути онлайн (zfs) або офлайн (btrfs).

Зауважте, дедуплікація споживає оперативну пам'ять. Ось чому записування файлів на об'єм ZFS, змонтований FUSE, викликає різко повільну продуктивність. Це описано в документації. Але ви можете ввімкнути / вимкнути дедуплікацію на гучність в Інтернеті. Якщо ви бачите, що будь-які дані слід дублювати, просто увімкніть дедуплікацію, перепишіть якийсь файл на будь-який тимчасовий і, нарешті, замініть. після цього ви можете вимкнути дедуплікацію та відновити повну продуктивність. Звичайно, ви можете додати до пам'яті будь-які кеш-диски. Це можуть бути дуже швидкі повороти дисків або SSD-диски. Звичайно, це можуть бути дуже маленькі диски. У реальній роботі це заміна оперативної пам'яті :)

Під Linux ви повинні піклуватися про ZFS, оскільки не всі працюють як слід, спеціально, коли ви керуєте файловою системою, робите знімок тощо, але якщо ви конфігуруєте і не змінюєте її, все працює належним чином. В іншому випадку вам слід змінити linux на opensolaris, він споконвічно підтримує ZFS :) Що дуже приємно з ZFS, це працює як файлова система, так і менеджер томів, схожий на LVM. Вам це не потрібно, коли ви використовуєте ZFS. Дивіться документацію, якщо хочете дізнатися більше.

Помітьте різницю між ZFS та BTRFS. ZFS старший і зріліший, на жаль, лише в рамках Solaris і OpenSolaris (на жаль, задушений оракул). BTRFS молодший, але останній раз дуже добре підтримується. Я рекомендую свіже ядро. ZFS має онлайн-дедуплікацію, що спричиняє уповільнення запису, тому що все розраховується в Інтернеті. BTRFS підтримує де-лайн дедуляцію. Потім це економить продуктивність, але коли хосту нічого не робити, ви періодично запускаєте інструмент для дедуплікації. І BTRFS створюється під Linux. Можливо, це краще для вас :)

Жорсткі посилання можуть бути не найкращою ідеєю; якщо один користувач змінює файл, він впливає на обидва. Однак видалення жорсткого посилання не видаляє обидва файли. Плюс, я не зовсім впевнений, що жорсткі посилання займають таку ж кількість місця (на жорсткому диску, а не ОС), як декілька копій одного файлу; відповідно до Windows (з розширенням Link Shell), вони це роблять. Звичайно, це Windows, а не Unix ...

Моїм рішенням було б створити "загальний" файл у прихованій папці та замінити фактичні дублікати символічними посиланнями ... тоді символічні посилання будуть вбудовані у метадані чи альтернативні потоки файлів, які записують лише два "файли". відрізняються одна від одної, наприклад, якщо одна людина хоче змінити ім’я файлу або додати власну обкладинку альбому чи щось подібне; це може бути корисним навіть поза програмами баз даних, як-от встановлення декількох версій однієї гри або програмного забезпечення та тестування їх незалежно навіть з найменшими відмінностями.

Найпростіший спосіб - використовувати спеціальну програму dupeGuru

як говорить документація

Параметри видалення

Ці параметри впливають на те, як відбувається повторне видалення. У більшості випадків не потрібно вмикати жоден із них.

Пов’язати видалені файли:

Видалені файли замінюються посиланням на довідковий файл. У вас є вибір замінити його або символьним, або жорстким. ... символьне посилання - це ярлик до шляху файлу. Якщо вихідний файл видалено або переміщено, посилання розривається. Жорстке посилання - це посилання на сам файл. Це посилання настільки ж добре, як і "реальний" файл. Лише коли всі тверді посилання на файл видаляються, сам файл видаляється.

В OSX та Linux ця функція підтримується повністю, але в Windows це трохи складніше. Windows XP не підтримує його, але Vista і вище підтримують його. Однак, щоб функція працювала, dupeGuru повинен працювати з адміністративними привілеями.