Як порівняти частини файлів за допомогою хеша?

У мене один успішно завантажений файл і інша не вдалося завантажити (лише перші 100 МБ великого файлу), які, як я підозрюю, це той самий файл.

Щоб перевірити це, я хотів би перевірити їх хеші, але оскільки у мене є лише частина невдало завантаженого файлу, я хочу лише хешувати перші кілька мегабайт або близько того.

Як це зробити?

ОС буде windows, але у мене встановлені cygwin та MinGW.

Створення хешів для порівняння файлів має сенс, якщо ви порівнюєте один файл проти багатьох або при порівнянні багатьох файлів один з одним.

Немає сенсу, коли порівнювати два файли лише один раз: Зусилля для обчислення хешів принаймні настільки ж великі, як перехід по файлах та їх порівняння безпосередньо.

Ефективним інструментом порівняння файлів є cmp:

cmp --bytes $((100 * 1024 * 1024)) file1 file2 && echo "File fragments are identical"

Ви також можете комбінувати його ddдля порівняння довільних частин (не обов'язково з початку) двох файлів, наприклад:

cmp \
    <(dd if=file1 bs=100M count=1 skip=1 2>/dev/null) \
    <(dd if=file2 bs=100M count=1 skip=1 2>/dev/null) \
&& echo "File fragments are identical"

Мені шкода, що я не можу точно спробувати це, але цей спосіб спрацює

dd if=yourfile.zip of=first100mb1.dat bs=100M count=1
dd if=yourotherfile.zip of=first100mb2.dat bs=100M count=1

Ви отримаєте перші 100 мегабайт обох файлів.

Тепер дістаньте хеши:

sha256sum first100mb1.dat && sha256sum first100mb2.dat 

Ви також можете запустити його безпосередньо:

dd if=yourfile.zip bs=100M count=1 | sha256sum 
dd if=yourotherfile.zip bs=100M count=1 | sha256sum 

Здається, всі з цим йдуть маршрутом Unix / Linux, але порівняння двох файлів легко виконати зі стандартними командами Windows:
FC /B file file2

FC присутній у будь-якій версії Windows NT, коли-небудь зробленій. І (якщо я правильно пригадую) також був присутній у DOS.
Це трохи повільно, але це не має значення для одноразового використання.

Ви можете просто безпосередньо порівнювати файли з такою програмою, як бінарний / шестнадцятковий vbindiff. Він швидко порівнює файли об'ємом до 4 Гб в Linux та Windows.

Виглядає приблизно так, лише з різницею, виділеною червоним (1B проти 1C):

one                                       
0000 0000: 30 5C 72 A7 1B 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....
0000 0020:
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080: 
0000 0090: 
0000 00A0: 

two        
0000 0000: 30 5C 72 A7 1C 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....               
0000 0020: 
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080:
0000 0090:                                
0000 00A0:             
┌──────────────────────────────────────────────────────────────────────────────┐
│Arrow keys move  F find      RET next difference  ESC quit  T move top        │
│C ASCII/EBCDIC   E edit file   G goto position      Q quit  B move bottom     │
└──────────────────────────────────────────────────────────────────────────────┘ 

Я знаю, це говорить про Bash, але ОП також заявляє, що у них є Windows. Для всіх, хто хоче / вимагає рішення для Windows, існує програма під назвою HxD, яка є Hex Editor, яка може порівнювати два файли. Якщо файли мають різний розмір, він підкаже, чи наявні частини однакові. І якщо потрібно, він може запускати контрольні суми для того, що на даний момент вибрано. Це безкоштовно і його можна завантажити з веб-сайту HxD . Я не маю жодного зв’язку з автором (ими), я просто використовую це роками.

cmp скаже вам, коли два файли однакові на довжину меншого файлу:

$ dd if=/dev/random bs=8192 count=8192 > a
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.514571 secs (130417197 bytes/sec)
$ cp a b
$ dd if=/dev/random bs=8192 count=8192 >> b 
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.512228 secs (131013601 bytes/sec)
$ cmp a b
cmp: EOF on a

cmp говорить вам, що порівняння зіткнулося з EOF у файлі a, перш ніж було виявлено різницю між двома файлами.