Чи є MD5 ще достатньо гарним для унікального визначення файлів?

Чи хеширование файлу MD5 все ще вважається достатньо хорошим методом, щоб однозначно його ідентифікувати, враховуючи всі порушення алгоритму MD5 та проблеми безпеки тощо? Безпека тут не є моєю основною проблемою, але однозначно визначає кожен файл.

Будь-які думки?

Так. MD5 повністю розбитий з точки зору безпеки, але ймовірність випадкового зіткнення все ще залишається малою. Просто переконайтеся, що файли не створюються тим, кому ви не довіряєте, і хто може мати зловмисні наміри.

Для практичних цілей створений хеш може бути відповідним випадковим випадком, але теоретично завжди існує ймовірність зіткнення за принципом « Голуб» . Наявність різних хешів, безумовно, означає, що файли різні, але отримання одного і того ж хеша не обов'язково означає, що файли однакові.

Використання хеш-функції для цієї мети - незалежно від того, питання стосується безпеки чи ні - тому завжди має бути лише першим кроком перевірки, особливо якщо відомо, що алгоритм хешу легко створює зіткнення. Щоб надійно з'ясувати, чи відрізняються два файли з одним і тим же хешем, вам доведеться порівняти ці файли по байтах.

MD5 буде досить хорошим, якщо у вас немає противника. Однак хтось може (цілеспрямовано) створити два різних файли, які мають однакове значення (це називається зіткненням), і це може бути, а може і не бути проблемою, залежно від вашої конкретної ситуації.

Оскільки знання того, чи відомі слабкі місця MD5 стосуються даного контексту, є тонкою справою, рекомендується не використовувати MD5. Використання хеш-функції, стійкої до зіткнення (SHA-256 або SHA-512) - безпечна відповідь. Крім того, використання MD5 є поганим зв'язком з громадськістю (якщо ви використовуєте MD5, будьте готові виправдовувати себе; тоді як ніхто не ставить під сумнів ваше використання SHA-256).

Md5 може спричинити зіткнення. Теоретично, хоча дуже малоймовірно, мільйон файлів поспіль може створити один і той же хеш. Не перевіряйте свою удачу і не перевіряйте наявність зіткнень md5 перед тим, як зберігати значення.

Мені особисто подобається створювати md5 випадкових рядків, що зменшує накладні хешування великих файлів. Коли зіткнення знайдені, я повторюю повторний хеш із доданим лічильником циклу.

Ви можете читати за принципом « голуби» .

Я б не рекомендував це. Якщо програма працюватиме в багатокористувацькій системі, може бути користувач, який матиме два файли з тим самим хешем md5 (він може бути інженером і грати з такими файлами, або бути просто цікавим - вони легко завантажуються з http: / /www2.mat.dtu.dk/people/S.Thomsen/wangmd5/samples.html , я сам під час написання цієї відповіді завантажив два зразки). Інша справа, що деякі програми можуть зберігати такі копії з будь-якої причини (я не впевнений, чи є такі програми, але така можливість існує).

Якщо ви однозначно ідентифікуєте файли, створені вашою програмою, я б сказав, що нормально використовувати MD5. В іншому випадку я б рекомендував будь-яку іншу хеш-функцію, де ще невідомі зіткнення.

Особисто я думаю, що люди використовують необроблені контрольні суми (вибирають ваш метод) інших об'єктів, щоб надто сильно діяти як унікальні ідентифікатори, коли вони дійсно хочуть зробити це - мати унікальні ідентифікатори. Відбиток пальців об’єкта для цього використання не був наміром і, ймовірно, вимагатиме більше роздумів, ніж використання uuid або подібного механізму цілісності.

MD5 зламано, замість нього можна використовувати SHA1 (реалізовано на більшості мов)

Під час хешування коротких (<декількох K?) Рядків (або файлів) можна створити два хеш-клавіші md5, одну для фактичної рядки та другу для зворотного рядка, з'єднаної з короткою асиметричною струною. Приклад: md5 (зворотний (рядок || '1010')). Додавання додаткового рядка гарантує, що навіть файли, що складаються з серії однакових біт, генерують два різних ключі. Будь ласка, розумійте, що навіть у цій схемі існує теоретична ймовірність того, що два хеш-ключі будуть однаковими для неідентичних рядків, але ймовірність здається надзвичайно малою - щось у порядку квадрату ймовірності зіткнення одиночного md5 та економія часу може бути значним, коли кількість файлів зростає. Можна також розглянути більш детальні схеми створення другого рядка,

Щоб перевірити наявність зіткнень, можна запустити цей тест на унікальність хеш-ключів md5 для всіх bit_vectors у db:

виберіть md5 (bit_vector), count (*), bit_and (bit_vector) з db з
групою bit_vector по md5 (bit_vector), bit_vector має bit_and (bit_vector) <> bit_vector

Мені подобається вважати MD5 як показник ймовірності при зберіганні великої кількості файлових даних.

Якщо хеші рівні, то я знаю, що я повинен порівнювати файли по байтах, але це може трапитися лише кілька разів з помилкової причини, інакше (хеші не рівні) Я можу бути впевнений, що ми говоримо про два різних файли .