Чи однаковий криптографічний хеш або контрольна сума для двох файлів означає, що вони однакові?

У мене є 2 відмінні документи, і я хочу перевірити, чи вони однакові, крім імені файлу.

Наприклад, файли називаються fileone.xlsі filetwo.xls. Окрім назв файлів, їх вміст вважається однаковим, але це те, що я хочу перевірити.

Я шукав способи переглянути це і не встановлювати купу плагінів. Немає прямого прямого шляху.

Я спробував генерувати хеші MD5 для обох файлів. Якщо хеші однакові, чи означає це, що вміст файлу 1: 1 однаковий?

Якщо хеші однакові, чи означає це, що вміст файлу 1: 1 однаковий?

Усі файли - це набір байтів (значення 0-255). Якщо два файли хешей MD5 відповідають, обидва ці колекції байтів є надзвичайно ймовірними абсолютно однаковими (однаковий порядок, однакові значення).

Є дуже маленький шанс, що два файли можуть генерувати той самий MD5, що є 128-бітним хешем. Ймовірність така:

Ймовірність випадкових зіткнень лише двох хешів - це 1/2 ^128, що становить 1 на 340 ундекльйонів 282 декліона 366 ноніліона 920 октиліона 938 септиліона 463 секстілліона 463 квінтиліона 374 квадрильйони 607 трлн 431 млрд 768 млн. 211 тис. 456. (з відповіді на StackOverflow .)

Хеші покликані працювати в "лише одному напрямку" - тобто ви берете колекцію байтів і отримуєте хеш, але ви не можете взяти хеш і повернете колекцію байтів.

Від цього залежить криптографія (це один спосіб порівняння двох речей, не знаючи, що це за речі.)

Близько 2005 року було виявлено методи взяти хеш MD5 та створити дані, які відповідають тому, що хеш створюють два документи, які мали однаковий хеш MD5 ( атака зіткнення ). Дивіться коментар @ user2357112 нижче. Це означає, що зловмисник може створити два виконувані файли, наприклад, які мають однаковий MD5, і якщо ви залежаєте від MD5, щоб визначити, якому слід довіряти, вас обдурять.

Таким чином, MD5 не слід використовувати для криптографії або захисту. Дуже погано публікувати MD5 на сайті завантаження, щоб забезпечити, наприклад, цілісність завантаження. Залежно від хеша MD5, ви не створили себе, щоб перевірити вміст файлу чи даних - це те, чого ви хочете уникати.

Якщо ви генеруєте свій власний, ви знаєте, що не шкодите собі (сподіваємось). Отже, для вашого використання це нормально, але якщо ви хочете, щоб хтось інший міг його відтворити, і ви хочете публічно опублікувати хеш MD5, слід використовувати кращий хеш.

Зауважте, що два файли Excel можуть містити однакові значення в одних і тих же рядках і стовпцях, але для швидкого потоку файлу вони можуть бути абсолютно різними через різне форматування, стилі, налаштування тощо.

Якщо ви хочете порівняти дані у файлі, експортуйте їх у CSV спочатку з тими ж рядками та стовпцями, щоб викреслити все форматування, а потім хеш або порівняти CSV.

На практиці так, ідентичний криптографічний хеш означає, що файли однакові, до тих пір, поки файли не були створені зловмисником або іншим шкідливим об'єктом. Шанси випадкових зіткнень з будь-якою добре розробленою криптографічною хеш-функцією настільки малі, що є незначними на практиці та за відсутності активного зловмисника.

Загалом, однак, ні, ми не можемо сказати, що два довільних файли, що мають один і той же хеш, безумовно означають, що вони однакові.

Те, як працює криптографічна хеш-функція, - це взяти вхід довільної довжини та вивести значення фіксованої довжини, обчислене з входу. Деякі хеш-функції мають декілька вихідних довжин на вибір, але вихід все ще певною мірою має значення фіксованої довжини. Це значення буде до декількох десятків байт; алгоритми хешування з найдовшим вихідним значенням у загальному використанні сьогодні мають 512-бітний вихід, а 512-бітний вихід 64 байти.

Якщо вхід до хеш-функції довший, ніж вихід хеш-функції, слід усунути деяку точність, щоб вхід підходив до виводу. Отже, повинно існувати кілька входів довжин, більших за довжину виводу, які генерують однаковий вихід.

Візьмемо для прикладу поточну робочу коня SHA-256. Він виводить хеш у 256 біт або 32 байти. Якщо у вас є два файли, кожен з яких становить рівно 32 байти, але різні, вони повинні (якщо не бракує алгоритму) з різними значеннями, незалежно від вмісту файлів; в математичних термінах, хеш - функція відображення 2 на ²⁵⁶ вхідний простір на 2 ²⁵⁶ вихідного простору, яке повинно бути можна обійтися без зіткнень. Однак якщо у вас є два файли довжиною 33 байти, має існувати деяка комбінація входів, які дають однакові 32-байтні хеш-значення вихідного хеш для обох файлів, тому що ми зараз відображаємо 2 ²⁶⁴ простір вводу на 2 ²⁵⁶вихідний простір; тут ми легко бачимо, що в середньому повинно існувати 2 ⁸ входів для кожного виходу. Візьміть це далі, і з 64-байтовими файлами має існувати 2 ²⁵⁶ входів на кожен вихід!

Криптографічні хеш-функції розроблені таким чином, що обчислювально важко скласти вхід, який дає певний вихід, або скласти два входи, що дають однаковий вихід. Це відоме як опір попередньої атаки або опір атаці зіткнення . Знайти ці зіткнення не неможливо ; це просто призначено бути справді, дійсно, справді, дуже важко. (Трохи особливий випадок нападу зіткнення - це день народження .)

Деякі алгоритми краще протистоять атакуючим. MD5, як правило, вважається повністю зламаним в ці дні, але останнє, що я подивився, він все ще мав досить гарну стійкість до першого зображення . SHA-1 також ефективно порушується; попередні атаки були продемонстровані, але вимагають конкретних умов, хоча немає підстав вважати, що так буде нескінченно; як говориться, напади завжди стають кращими, вони ніколи не стають гіршими. В даний час SHA-256/384/512 вважається безпечним для більшості цілей. Однак , якщо ви просто зацікавлені в тому, чи є дві неправомірно розроблені, дійсніФайли однакові, то будь-якого з них повинно бути достатньо, оскільки вхідний простір вже достатньо обмежений, щоб вас найбільше цікавили випадкові зіткнення. Якщо у вас є якісь підстави вважати, що файли були створені зловмисно, вам потрібно як мінімум використовувати криптографічну хеш-функцію, яка в даний час вважається безпечною, що ставить нижню смугу на SHA-256.

Перший малюнок - знайти вхід, який дає конкретне хеш-вихідне значення; другий малюнок - це знайти один вхід, який дає такий же вихід, як і інший, зазначений вхід; зіткнення полягає у знаходженні двох входів, які дають однаковий вихід, без огляду на те, що це таке, а іноді і без огляду на те, що є входами.

Все, що сказано, важливо пам’ятати, що файли можуть мати дуже різні подання даних і все одно відображати абсолютно однакові. Таким чином, вони можуть бути однаковими, навіть якщо їхні криптографічні хеші не збігаються, але якщо хеші збігаються, вони з великою ймовірністю виявляться однаковими.

Це гра з вірогідністю ... хеші здатні представляти кінцеву кількість значень.

Якщо ми розглянемо гіпотетичний (і дуже слабкий) 8-бітний алгоритм хешуваннявання, то це може представляти 256 різних значень. Коли ви почнете запускати файли через алгоритм, ви почнете виводити хеші ... але незабаром ви почнете бачити " хеш-колізії ". Це означає, що два різні файли подавалися в алгоритм, і він виробляв те саме хеш-значення, що і його вихід. Зрозуміло, що тут хеш недостатньо сильний, і ми не можемо стверджувати, що " файли з відповідними хешами мають однаковий вміст ".

Розширення розміру хешу та використання більш сильних алгоритмів криптографічного хешування може значно допомогти зменшити зіткнення та підвищити впевненість у тому, що два файли з одним і тим же хешем мають однаковий вміст.

Це означає, що ми ніколи не можемо досягти 100% впевненості - ми ніколи не можемо впевнено стверджувати , що два файли з одним і тим же хешем справді мають однаковий вміст.

У більшості / багатьох ситуаціях це добре, а порівняння хешей " досить добре ", але це залежить від вашої моделі загрози.

Зрештою, якщо вам потрібно підвищити рівень визначеності, я рекомендую вам зробити наступне:

1. Використовуйте сильні алгоритми хешування ( MD5 вже не вважається адекватним, якщо вам потрібно захистити від потенційно шкідливих користувачів)
2. Використовуйте кілька алгоритмів хешування
3. Порівняйте розмір файлів - додаткова точка даних може допомогти виявити потенційні зіткнення, але зауважте, що продемонстроване зіткнення MD5 не потребувало зміни довжини даних.

Якщо вам потрібно бути 100% впевненим, тоді все-таки почніть з хешу, але якщо хеші відповідають, слідкуйте за цим порівнянням двох файлів за байтом.

Крім того, як зазначають інші ... складність документів, виготовлених такими додатками, як Word та Excel, означає, що текст, цифри, видимий макет можуть бути однаковими, але дані, що зберігаються у файлі, можуть бути різними.

Excel в цьому особливо поганий - просто відкривши електронну таблицю, економлячи її ( нічого не зробивши ), можна створити новий файл з різним вмістом.

Якщо два файли мають один і той же хеш MD5, і обидва вони не були спеціально створені, вони однакові. Наскільки важко створювати файли з тим же хешем MD5, залежить від формату файлу, я не знаю, наскільки це легко з файлами Excel.

Тож якщо у вас є власні файли, які просто лежать і хочете знайти копії, MD5 є безпечним. Якщо ви написали один із файлів, а інший файл має сумнівне походження, MD5 все ще є безпечним (єдиний спосіб отримати різні файли з однаковою контрольною сумою MD5 - це створити обидва файли). Якщо хтось, якому ви не довіряєте, надсилає вам бюджетну пропозицію, а пізніше надсилає інший файл, на який вони стверджують, той самий, то MD5 може бути недостатньо.

Щоб уникнути будь-якого ризику, використовуйте SHA-256 або SHA-512 замість MD5. Якщо два файли мають однаковий хеш SHA-256, вони однакові. Те саме стосується SHA-512. (Існує теоретична можливість того, що вони можуть бути різними, але ймовірність того, що це трапиться випадково, набагато менша, ніж ймовірність того, що ваш комп'ютер трохи переверне під час перевірки, ніж це просто не має значення. Що стосується того, що хтось свідомо виготовляв два файли з той же хеш, ніхто не знає, як це зробити для SHA-256 або SHA-512.)

Якщо два файли Excel мають різні хеші, то вони різні, але неможливо дізнатися, наскільки вони відрізняються. Вони могли мати однакові дані, але різного форматування, або вони могли просто відрізнятися за властивостями, або вони могли бути збережені різними версіями. Насправді, якщо Excel є чимось схожим на Word, то просто збереження файлу оновлює його метадані. Якщо ви хочете лише порівнювати числові та текстові дані та ігнорувати форматування та властивості, ви можете експортувати електронні таблиці в CSV для їх порівняння.

Якщо у вас є інструменти Unix / Linux, ви можете використовувати cmpдля порівняння двох файлів. Для порівняння двох файлів на одній машині контрольні суми лише ускладнюють справи.

Коротка відповідь: криптографічного хеш повинен допомогти вам бути досить впевнені в тому , що файли з однаковими хеш збігаються. Якщо навмисно складено, шанси на два трохи різні файли, що мають подібні хеш-значення, смішно невеликі. Але якщо мова йде про порівняння та перевірку файлів, які можуть бути навмисно підроблені, MD5 - це поганий вибір. (Використовуйте іншу хеш-функцію, наприклад SHA3 або BLAKE2.)

Довга відповідь: Ідеальна хеш-функція - це така, яка створює майже унікальний криптографічний хеш для кожного унікального даних. Іншими словами, ми точно знаємо, що у цьому Всесвіті є два файли, хеш-значення яких стикаються, шанс цих двох файлів, природно, зібратися разом є смішно невеликим.

Десять років тому я вирішив, що повинен залишитися якнайдалі від MD5. (Звичайно, до вчорашнього дня, я згадав неправильну причину для цього ;. Десяти років це довгий час, ви бачите , я знову мої минулі записки , щоб згадати , чому і редагували цей відповідь.) Ви бачите, в 1996 році, MD5 було виявлено бути сприйнятливим до атак зіткнення. Через 9 років дослідники змогли створити пари документів PostScript та (ой!) X.509 сертифікатів з тим же хешем! MD5 явно був зламаний. (Megaupload.com також використовував MD5, і навколо хеш-зіткнень було дуже багато химерних зіткнень, які в цей час створювали мені проблеми.)

Отже, я зробив висновок, що хоча MD5 був (і досі є) надійним для порівняння доброякісних файлів, треба взагалі припинити його використання. Я обґрунтовував, що опора на нього ризикує перетворитись на поблажливість і помилкову впевненість: Після того, як ви почнете порівнювати файли, використовуючи хеші MD5, одного дня ви забудете тонкий відбиток безпеки та порівняєте два файли, які навмисно створені, щоб мати однаковий хеш. Крім того, процесори та криптопроцесори навряд чи додадуть йому підтримку.

Однак оригінальний плакат має ще менше причин використовувати MD5, оскільки:

1. Поки можна порівнювати лише два файли, порівняння байтів за байтом насправді швидше, ніж створення власних хешів MD5. Для порівняння трьох і більше файлів ... ну, тепер у вас є законна причина.
2. В ОП вказано "способи переглянути це і не встановлювати купу плагінів". Команда Get-FileHash Windows PowerShell може генерувати хеші SHA1, SHA256, SHA384, SHA512 та MD5. На сучасних комп’ютерах з апаратною підтримкою хеш-функцій SHA їх генерування відбувається швидше.

У мене є 2 відмінні документи, і я хочу перевірити, чи вони однакові, крім імені файлу.

З практичної точки зору, безпосередньо порівнювати файли, щоб дізнатися, чи відрізняються вони, буде швидше, ніж обчислити хеш для кожного файлу, а потім порівняти цей хеш.

Щоб обчислити хеші, ви повинні прочитати весь вміст обох файлів.

Щоб визначити, чи однакові вони за допомогою прямого порівняння, потрібно просто прочитати вміст обох файлів, поки вони не збігаються. Як тільки ви знайдете різницю, ви знаєте, що файли не однакові, і вам не доведеться читати більше даних з жодного файлу.

І перш ніж робити будь-який, ви можете просто порівняти розміри двох файлів. якщо розміри різняться, то вміст не може бути однаковим.

Хеші, такі як MD5 або SHA, мають фіксовану довжину, скажемо, що це 300 буквено-цифрових символів (насправді вони коротші та не використовують весь набір буквено-цифрових символів).

Скажімо, що файли створені буквено-цифровими символами та розміром до 2 Гб.

Ви можете легко побачити, що існує набагато більше файлів (розміром до 2 Гб), ніж можливих хеш-значень. Принцип gogeonhole говорить, що деякі (різні) файли повинні мати однакові хеш-значення.

Також, як показано на shattered.io ^1, ви можете мати два різні файли: shattered.io/static/shattered-1.pdf та shattered.io/static/shattered-2.pdf, які мають однакове хеш-значення SHA-1, будучи зовсім інші.

¹ SHA1 - "сильніший" алгоритм хешування, ніж md5

НЕМАЄ. Різні значення гарантують, що файли різні. Ті ж значення не є гарантією, що файли однакові. Порівняно легко знайти приклади за допомогою CRC16.

За співвідношенням ймовірностей із сучасними хеширующими схемами вони однакові.

Однак ваше питання є зворотним - припустимо, що хеш означає, що вони мають однакові дані (що не гарантується на 100%, але достатньо добре протягом життя порівнювати файли щосекунди, щоб не зіткнутися зіткненням). Це не обов'язково випливає, що наявність однакових даних означає, що вони матимуть однаковий хеш. Отже, ні - ви не можете порівнювати дані у файлі excel з даними в іншому файлі excel шляхом хешування файлу, оскільки існує багато способів, за якими два файли можуть відрізнятися, не змінюючи базові дані. Один очевидний спосіб - дані зберігаються як XML, кожна комірка має свій власний XML-вузол. Якщо ці вузли зберігаються в різних порядках, то дані однакові, але файл відрізняється.

Щоб додати інші відповіді, ось багато прикладів пар файлів з однаковим хешем MD5 та різним вмістом.

Відповідь на цю ОП була надана, але вона може отримати корисну інформацію.

Якщо ви хочете перевірити, чи однакові два файли, багато що залежить від того, чи є файли та хеші під вашим контролем.

Якщо ви генеруєте хеші з файлів, і ви впевнені, що ніхто інший не мав можливості / вміння / мотивації навмисно спробувати і зробити так, щоб ви зробили неправильний висновок, то майже будь-який хеш - навіть "відомі зламані" хеші, такі як MD5 і SHA1 майже певне є достатнім. Але це, я маю на увазі, що ви могли генерувати файли з високою швидкістю протягом мільйонів років, і ви все одно навряд чи отримаєте два файли, які насправді різні, але мають однаковий хеш. Це майже напевно безпечно.

Цей сценарій у вас є, коли ви хочете швидко перевірити, чи два каталоги на вашому ПК або файловому сервері мають однаковий вміст, чи якісь файли в каталозі є точними дублікатами тощо, і ви впевнені, що файли не мають був розроблений / незаконно модифікований, і ви довіряєте своїй програмі / утиліті хешування для отримання правильних результатів.

Якщо у вас є сценарій, коли один із файлів - або попередньо обчислений хеш - може бути маніпульований або сконструйований, щоб змусити вас зробити неправильний висновок, тоді вам потрібен більш сильний (нерозривний) хеш та / або інша безпека. Наприклад, якщо ви завантажуєте файл і перевіряєте, чи він дійсний, вивчаючи хеш, то зловмисник може мати змогу створити неправильний файл з правильним хешем або напасти на веб-сайт, щоб розмістити неправильний хеш, шукаючи "правильного" " (очікуване значення. Це зводиться до більш широких питань безпеки.

У командному рядку Windows можна за допомогою compутиліти визначити, чи два файли точно однакові. Наприклад:

comp fileone.xls filetwo.xls

Якщо хеші однакові, чи означає це, що вміст файлу 1: 1 однаковий?

Ні . Якщо хеші різні, то це означає , що зміст різні. Рівні хеш-коди не передбачають однакового змісту. Хеш-код - це зменшення великого домену до меншого діапазону, за визначенням: сенс полягає в тому, що hascodes над неоднаковим вмістом може бути рівним. Інакше не було б сенсу їх обчислювати.

_{Ця відповідь призначена для зручної карти сценаріїв, які можуть статися чи не можуть, і міркувань, які ви можете застосувати. Зверніться до інших відповідей, щоб дізнатися, чому хеш-функції працюють таким чином.}

Після того як ви виберете хеш-функцію та дотримуєтесь її, усі ці комбінації слід врахувати:

          |    identical   |   different    |
          |   hash values  |  hash values   |
----------+----------------+----------------+
identical |   can happen,  | cannot happen, |
  files   |     common     |   impossible   |
----------+----------------+----------------+
different |   can happen,  |   can happen,  |
  files   |      rare*     |     common     |
----------+----------------+----------------+

* rare, unless whoever generates (at least one of) the files
  purposely aims at this scenario

Сценарій, в якому однакові файли генерують різні хеш-значення, є єдиним, що категорично неможливо.

Два міркування, які завжди застосовуються:

• Якщо файли ідентичні , то хеш - значення збігаються точно .
• Якщо значення хешу різні, то файли точно відрізняються .

Два міркування, які не є суворими :

• Якщо файли різні, то значення хешу, ймовірно, різні.
• Якщо значення хешу однакові, файли, ймовірно, ідентичні.

Так, ідентичний хеш означає ідентичні файли.

Як зрозуміли інші відповіді, можна створити 2 різних файли, які призводять до одного хешу, і MD5 не є особливо надійним у цьому плані.

Тому використовуйте більш сильний алгоритм хешування, якщо ви плануєте порівнювати велику кількість документів Excel або якщо ви думаєте, що хтось може захотіти маніпулювати порівнянням. SHA1 кращий, ніж MD5. SHA256 знову краще і повинен дати вам повну впевненість у вашому конкретному використанні.

Файли, ймовірно, ідентичні, якщо їх хеші однакові. Ви можете підвищити впевненість, змінивши обидва файли однаковим чином (наприклад, покладіть одне і те ж значення в одну і ту ж невикористану комірку), порівнявши хеші змінених файлів. Важко створити навмисне зіткнення для файлу, який змінюється невідомим заздалегідь.

Давайте розглянемо це на практичному шляху. Замість того, щоб сказати "хеші ідентичні", я скажу "Я написав комп'ютерну програму, яка обчислює хеші двох файлів і виводить, чи вони однакові чи ні", і я запускаю програму з двома файлами, і вона говорить "однаковий". Є кілька причин, чому це може зробити так:

Файли можуть бути ідентичними. У моєму коді можуть бути помилки (той, який насправді траплявся на практиці, порівнював два довгих хеша (256 байт) не з memcmp, а з strcmp: порівняння повернеться "тим самим", якщо перший байт у кожному хеші дорівнює нулю, і шанс для це 1 на 65536. Може статися апаратний збій (космічний промінь потрапляє на комірку пам'яті та перемикає її) Або у вас є рідкісний випадок двох різних файлів з однаковим хешем (хеш-зіткнення).

Я б сказав, що для неідентичних файлів, найвірогіднішою причиною є помилка програміста, тоді приходить космічний промінь, який змінив булеву змінну в результаті порівняння хесів з "false" на "true", і набагато пізніше настає збіг хеш-зіткнення.

Існують корпоративні системи резервного копіювання, які уникають резервного копіювання однакових файлів у 10 000 користувачів шляхом хешування кожного файлу та перевірки наявності файлу з ідентичним хешем, який вже зберігається на сервері. Тож у разі зіткнення файл не буде резервного копіювання, що може призвести до втрати даних. Хтось підрахував, що набагато ймовірніше, що метеорит потрапить на ваш сервер і знищить усі резервні копії, ніж втратити файл, оскільки його контрольна сума відповідає іншому файлу.