Інструмент для консолідації даних на декількох жорстких дисках і список відмінностей між наборами файлів


2

У мене є кілька жорстких дисків я використовував протягом багатьох років для резервного копіювання даних. Кожна з них має іншу структуру папок і набір файлів. Тепер у мене є масивний NAS, який я хочу об'єднати всі мої дані. Я створив нову структуру папок на NAS і перемістив більшість своїх даних.

Хто-небудь знає про інструмент, який міг би індексувати мій NAS, а потім порівняти будь-який інший жорсткий диск, папку або інший носій і вказати, які папки / файли немає на NAS.

Я вважаю, що я міг би написати сценарій, який би md5 / sha1 кожного файлу на NAS і покласти ці дані в базу даних. Потім скрипт міг би порівнювати з використанням цих хешів і списку відмінностей. Я сподіваюся на краще рішення, якщо він існує.


Чи не заперечуєте ви githubbing / обмін своїм сценарієм? У мене є близько 20 Тб фотографій і т.д., і я думав про подібне рішення зберігання всіх різних імен і дат для файлів в текстовому файлі для посилання або включення його в мета дані для кожного файлу. В один момент, я уявив, що можна було б використовувати функцію автозавантаження Dropbox для об'єднання даних, оскільки він не завантажує фотографії, які вже завантажені, але вам потрібно кілька ТБ на вашому комп'ютері для передачі кожного диска для DP. Також їх система сповільнюється за 300k файлів.
Goodcy

Відповіді:


0

Щоб закрити це питання, я вже не знайшов нічого.

Я написав скрипт python, який читав усі файли на диску і зберігав хеш MD5 кожного з них в базі даних.

Потім я створив інший скрипт, який буде читати вміст диска для порівняння і пошуку MD5 в базі даних, щоб побачити, чи файл вже існував. Це не ідеально, але це спрацювало.


0

Можна передати фотографії сказати в 20-100 Гб шматки за раз на карту SD або флеш-карту USB і скористатися завантажувачем Dropbox, щоб сканувати флеш-накопичувач і автоматично завантажувати нові файли в Dropbox. Після завантаження унікальних файлів у Dropbox можна завантажити всі їх на новий жорсткий диск. Це було навіть якщо ви не використовуєте Dropbox регулярно, ви можете використовувати їх протягом декількох днів або тижнів тільки, щоб отримати роботу. Можна також писати скрипти в оболонці unix, Ruby, PHP або Python для створення бази даних і передачі унікальних файлів, які ви, здається, зробили. Рішення dropbox для мирянина. Сподіваюся, що це допомагає іншим.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.