Які дублікати файлів і шукачів папок існують для Windows? [зачинено]


57

Мені потрібна безкоштовна програма пошуку / видалення дублікатів файлів, з можливістю пошуку дублікатів файлів / папок за назвою та / або розміром та видалення одного з дублікатів.


Це можна зробити за допомогою сценарію оболонки BASH: superuser.com/questions/386199/…
Anderson Green

Відповіді:


9

Деякий час цей інструмент пошуку дублікатів файлів був доступний, але зараз він лише на вторинних сайтах, як ця посилання на Softpedia .

На сайті Wareseeker показано правильне посилання, http://dff.nazrashid.com/якого вже немає. Я хотів би бути обережним із отриманням виконуваних файлів з таких сайтів.

Він може здійснювати пошук дублікатів у кількох деревах каталогів на основі,

  • вміст (я думаю, це відповідає md5)
  • розмір
  • назва
  • назва та розмір
  • зміст та назва

І це дозволяє фільтрувати пошук за мінімальним та максимальним розміром файлів (прискорює роботу, коли ви знаєте межі).

Дуже продуманий фрагмент програмного забезпечення. Не знаю, чи є щось таке швидке і пропонувалося безкоштовно в ці дні.


У коментарях йдеться про аналогічний інструмент Sourceforge під назвою Doubles


2
На насправді він доступний на SourceForge тут: doubles.sourceforge.net
BinaryMisfit

3
Чи можу я запропонувати видалити посилання Wareseaker. Я думаю, що нам потрібно бути обережними, стосуючись сайтів Warez взагалі.
BinaryMisfit

Я згоден з вами Diago. Я спробував знайти інструмент DupeFinder і не зміг його знайти. doublesІнструмент схожий , але це не те ж саме.
nik

1
Що для цього варто, я знайшов веб-сайт (принаймні домашню сторінку) у машині Wayback: wayback.archive.org/web/20070115135708/http://dff.nazrashid.com за іншим посиланням на завантаження: wayback.archive.org /web/20061207062803/http://dff.nazrashid.com/…
seanf

25

Я спробував буквально десятки шукачів дублікатів файлів (у мене все ще є інсталятори / ZIP-файли для приблизно 20 з них). Я використовував CloneMaster 2.19 протягом певного часу, тому що він був найкращим, який я міг знайти, хоча навіть це не ідеально (я хотів, щоб він міг також виявити дублікати MP3 за аудіовмістом, ігноруючи теги). Усі вони мали проблеми, які мене досить засмутили, що я вирішив написати свою власну і виклав список особливостей, які вимагаю від DFF.

І тоді я знайшов AllDup . Це перший і єдиний, який насправді змусив мене відмовитися від проекту (технічно моя не зовсім відмовилася, над нею вже більше не працюють, тому що мені більше не потрібно писати її, тому що AllDup робить все, що я хочу від неї). У будь-якому випадку, AllDup шукає дублікати файлів, але на відміну від інших, він використовує безліч хитрощів і методів, які я збирався використовувати у власному DFF. Таким чином, це дуже швидко: він може, наприклад, сканувати> 250 000 розмірів від 1B-5GB за ~ 30 хвилин (я це робив у своїй системі кілька разів).

Ще однією чудовою (і чомусь рідкісною) особливістю AllDup є те, що я згадував, що він може сканувати дублікати MP3 за власними аудіоданими, не ігноруючи теги, тож два MP3-файли, які однакові, але мають різні теги (дуже поширені при завантаженні), бути виявленими як копії. (Це навіть може виявити, коли я зірвав дві однакові пісні з двох різних компакт-дисків - з різними тегами, звичайно.) Звичайно, він може виявити дупи на основі інших факторів, крім вмісту бай-байта, таких як назви файлів, дати тощо.

Інші чудові функції AllDup включають можливість фільтрації (включення або виключення) на основі імені файла та / або назви папки та / або розміру файлів. Екран результатів також дуже універсальний з можливістю вибору файлів на основі дати, шляху, імені, цього, того, іншого ... Він також має різноманітність, що робити з виявленими дублікатами

Майкл Палець теж дуже сприйнятливий. Я кілька разів повідомляв про помилки та пропонував йому функції, до яких він звертався надзвичайно швидко (до того, що він сказав мені завантажити та спробувати бета-версію з оновленнями в наступні електронні листи того ж дня).

О, і це безкоштовно.

HTH


Посилання не працює.
Йосип

Дякуємо за повідомлення Напевно, я повинен був ввести URL вручну та наполегливо продовжувати GTLD.
Synetech

Ні, що сталося, коли автоматичне виправлення Chrome змінило значення "e" і "d" (як це робиться, коли я намагаюся набрати доктор ) Grrr. (
Зафіксовано

Я також багато використовував, і це я вирішив. Інтерфейс трохи незграбний, але в ньому є багато корисних варіантів.
ендоліт

Ви спробували версію 3? Він досить продається.
Synetech

14

Дублікат Cleaner дуже швидкий і має широкі можливості фільтрації набору результатів.


Це добре виглядає. Це безкоштовно, працює в Windows 7, має різноманітні методи фільтрації та підтримує створення жорстких посилань NTFS замість видалення.
ендоліт

1
Не вдається обробити імена файлів Unicode?
ендоліт

1
Чи обробляє це повторювані папки?
Андерсон Грін

1
Насправді він обробляє дублюючі папки. Це перша програма, яку я знайшов (поки що), яка може ідентифікувати повторювані папки, а також копії файлів.
Андерсон Грін

Версія Pro обробляє обертові файли зображень. Чудово! Нарешті я можу сортувати фотографію з iOS за допомогою автоматичного резервного копіювання Dropbox.
JcMaco

8

Clonespy http://www.clonespy.com

Я вважаю це дуже корисним і кориснішим, ніж doublekiller. Особливо приємною особливістю є функція "Pools", де ви можете порівнювати одну групу каталогів з іншою групою каталогів, ігноруючи дублікати всередині груп.

Наприклад, мій партнер любить зберігати дублікати файлів зображень під час роботи із зображеннями. Я хочу перевірити, чи є в моїх каталогах копії цих файлів.

Пул 1 - Домашня довідник партнера Пул 2 - Мій домашній каталог.

Єдині знайдені дублікати - це якщо файл присутній як у моїх каталогах, так і в каталогах мого партнера. Файли, що дублюються лише в каталогах мого партнера, ігноруються.


Чи можете ви використовувати CloneSpy для пошуку всіх копій файлів (або копій папок) у певному каталозі?
Андерсон Грін

@AndersonGreen Так для дублікатів файлів
FelipeAls

Це єдиний простак шукач , який я натрапив , що дозволяє робити крос порівнювати одного файлу (якщо ви помістіть його в належній папці) або структуру дерева папок, з іншого структурою дерева папок (або набір папок або дерева структури). Всі інші інструменти, які я пробував протягом багатьох років, зазнали невдачі саме в цей момент! Це єдиний, хто робить це правильно.
Самір

Я часто опинявся в ситуації, коли я знаю, що дивлюсь на файл, який має дублікат копії десь в іншому місці, але не можу згадати, де зберігається інша копія. Звучить знайомо? Або я знаю, що файл - це копія іншого файлу, і я навіть знаю місце розташування цієї іншої копії, але мені доведеться порівняти її з нею, щоб побачити, який з них я хочу зберегти. Можливо, у мене навіть є дві-три інші копії чи версії цього другого місця. Це точка розриву, коли відмінність інструмента "diff" від інструмента "dupe" стає туманним.
Самір

Порівняння басейну та басейну - просто вбивця! Це головна перевага перед іншими інструментами. Що стосується інструментів для розробки та опрацьовування, я ще не маю знайти одного, який підробляє обидва програми. Я думаю, що Beyond Compare наближається до цього, але це все-таки в милі. Він, безумовно, має потенціал, і це найкращі різні інструменти, якими я користувався.
Самір

7

У мене є деякий час такий пакетний файл:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

Ви можете запустити його /rяк аргумент, щоб запустити рекурсивно через дерево директорій.


1
Дивовижне рішення вихованки!
JBRWilkinson

Downvoter: Було б допомогти, якби ви сказали, чому це не корисно на вашу думку.
Joey

Невелике слово попередження полягає в тому, що вкладені петлі в Windows іноді призводять до того, що зовнішній цикл мовчки закінчується передчасно на великих структурах каталогу. Мені пощастило мати зовнішній цикл callокремого пакетного файлу, що містить внутрішній цикл.
mikewse

4

Total Commander має блискучу утиліту пошуку дублікатів файлів. На жаль, це не безкоштовно.

Як вже зазначалося nik, існує Duplicate File Finder, який є відкритим кодом та крос-платформою. Він доступний на SourceForge тут


3

DoubleKiller - це відмінний безкоштовний (у них також версія для професіоналів) пошук дублікатів / видалення дублікатів файлів. Я використовую його протягом багатьох років і ретельно рекомендую.

http://www.bigbangenterprises.de/en/doublekiller


3

Winmerge http://winmerge.org/

Порівняйте дуже схожі каталоги, можливо, між вашою папкою "Документи" та вашою імпровізованою папкою "резервного копіювання", "Копією документів", яку ви створили кілька тижнів тому, "про всяк випадок".

Ви можете розібратися, які файли все ще однакові, які файли найновіші (або найдавніші, якщо у вас виникли проблеми), а які файли існують лише в одному місці. Тоді ви можете "об'єднати" каталоги та видалити дублікати.


Чи можете ви скористатися WinMerge для отримання списку дублікатів файлів і папок у межах одного конкретного каталогу?
Андерсон Грін



1

Я завжди використовував стару програму Find Duplicates , але тепер, коли Geocities було знищено, я думаю, її більше немає, тому ось копія файлу .

Він відображає файли в групах, які легко бачити, ізольовані кольором. Він попереджає вас, якщо ви позначили всі копії файлу для видалення, можете автоматично позначити їх, ви можете вибірково автоматизувати всі файли в каталозі (я це багато використовував), можете видалити каталоги, які після видалення стануть порожніми тощо. обережно посилань, якщо ви використовуєте його у Wine. Він видалить усі копії файлу, не знаючи, що вони є посиланнями.


Я перейшов на AllDup.
ендоліт

1

Я знайшов ще одне видалення дублікатів файлів приголомшливим. Він досить новий і дуже простий у використанні. Я використовував його для порівняння понад 50 000 файлів з проекту відновлення жорсткого диска, щоб він міг обробляти велику кількість файлів.


1

Найкращим рішенням, яке я випробував на Windows, був уже згаданий Alldup . Реквізити до Synetech inc. для обміну ним. Блискучий та дуже професійний безкоштовний інструмент.

У публікації я надаю перевірені рішення bash, які працюватимуть під Cygwin, Linux та OS X (або все, що використовує bash-подібну оболонку).

Шукаєте дублікати файлів за допомогою безкоштовних та відкритих інструментів


2
Чи може AllDup генерувати список повторюваних папок замість дублікатів файлів?
Андерсон Грін

не те, що мені відомо
Кайл

1

Ще одна утиліта:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only

1

Швидкий пошук копій файлів:

  • Повністю безкоштовно
  • Можна визначити дублікати незалежно від того, де вони знаходяться в каталозі / папки структури
  • Простий у користуванні інтерфейс Windows
  • Може створювати звіти у XML-формі
  • Чи можна перемістити дублікати до кошика або іншої кореневої папки, що зберігає початкову структуру папки, наприклад, якщо дублікат був у папці в іншій папці, цей шлях буде збережено: файл все ще існуватиме в папці всередині папки, і це структура, хто буде переміщений у папку, яку обирає користувач - будь то контейнер для переробки або вказана користувачем папка
  • Швидкий алгоритм бінарного порівняння, а також перевірка назви файла та розміру.

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder- About.htm


чи можете ви поясніть, будь ласка, пункти 2 та 5?
Milind R

оновлено @MilindR, будь ласка, повідомте мене, якщо це допоможе
therobyouknow

Дякую .. Я все ще не отримую крапку 2, хоча .. Дублікати файлів потрібно знайти де-небудь так?
Milind R

Так вірно. Наприклад: розгляньте 2 файли з точно однаковим вмістом. Файл 1 - шлях / папка1 / папка2 / файл1, а файл 2 - у шляху / папка3 / папка4 / папка5 / файл2 - Швидкий копіювач пошуку файлів знайде обоє цих даних та повідомить про них як однакові, і користувач може вибрати, який із них хочу видалити
therobyouknow

Ага, так, це пояснює це. Хоча я вважаю, що це зазвичай сприймається як розгляд програми, яка шукає дублікати файлів.
Milind R
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.