Що таке хороша хеш-функція?

Що таке хороша функція Hash? Я багато бачив хеш-функцій та додатків на своїх курсах структури даних в коледжі, але в основному я зрозумів, що зробити досить хорошу хеш-функцію досить складно. Як правило, щоб уникнути зіткнень, мій професор сказав:

function Hash(key)
  return key mod PrimeNumber
end

(mod - оператор% на C та подібних мовах)

при цьому просте число має бути розміром хеш-таблиці. Я розумію, це дещо хороша функція, щоб уникнути зіткнень та швидких, але як я можу зробити кращу? Чи є кращі хеш-функції для рядкових клавіш проти цифрових клавіш?

Здійснюючи "звичайні" пошуки хеш-таблиць на основі будь-яких даних - цей Пол Паул Хсі є найкращим, що я коли-небудь використовував.

http://www.azillionmonkeys.com/qed/hash.html

Якщо ви дбаєте про криптографічно захищений або що-небудь інше більш досконале, то YMMV. Якщо ви просто хочете хеш-функцію хеш-функції загального призначення для пошуку хеш-таблиці, то це те, що ви шукаєте.

Не існує такого поняття, як "хороша хеш-функція" для універсальних хешей (ред. Так, я знаю, що існує таке поняття, як "універсальне хешуваннявання", але це не те, що я мав на увазі). Залежно від контексту різні критерії визначають якість хешу. Двоє людей вже згадували SHA. Це криптографічний хеш, і це зовсім не добре для хеш-таблиць, які ви, мабуть, маєте на увазі.

Таблиці хешу мають дуже різні вимоги. Але все-таки знайти хорошу хеш-функцію універсально важко, оскільки різні типи даних розкривають різну інформацію, яку можна хешировать. Як правило, добре враховувати всю інформацію, яку має тип, однаково. Це не завжди просто і навіть можливо. З міркувань статистики (а отже, і зіткнення) також важливо створити хороший розподіл по проблемному простору, тобто по всіх можливих об'єктах. Це означає, що при хешировании чисел між 100 і 1050 не годиться дозволяти найбільш значній цифрі грати велику роль у хеші, тому що для ~ 90% об'єктів ця цифра буде дорівнює 0. Набагато важливіше дозволити останнім трьом цифри визначають хеш.

Так само при хешуваннях рядків важливо враховувати всі символи - за винятком випадків, коли заздалегідь відомо, що перші три символи всіх рядків будуть однаковими; вважаючи це тоді марним.

Це насправді один із випадків, коли я раджу прочитати, що має сказати Кнут у «Мистецтві комп’ютерного програмування» , т. 3. Ще одне хороше прочитання - «Художнє хеширование» Жульєн Уокер .

Є дві основні цілі хешування функцій:

• для рівномірного розподілу точок даних на n біт.
• надійно ідентифікувати вхідні дані.

Неможливо порекомендувати хеш, не знаючи, для чого ви його використовуєте.

Якщо ви просто створюєте хеш-таблицю в програмі, то вам не потрібно турбуватися про те, наскільки зворотний або руйнується алгоритм ... SHA-1 або AES абсолютно непотрібні для цього, вам краще використовувати зміна FNV . FNV досягає кращої дисперсії (а отже, меншої кількості зіткнень), ніж простий основний мод, як ви згадали, і він більш пристосований до різних розмірів вводу.

Якщо ви використовуєте хеші для приховування та автентифікації публічної інформації (наприклад, хешування пароля чи документа), вам слід скористатися одним із основних алгоритмів хешування, перевірених публічним контролем. Функціональний зал Hash - хороше місце для початку.

Це приклад хорошого, а також приклад того, чому ви ніколи не хотіли б написати його. Це хеш Fowler / Noll / Vo (FNV), який дорівнює геніальності інформатики та чистому вуду:

unsigned fnv_hash_1a_32 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned h = 0x811c9dc5;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x01000193;

   return h;
}

unsigned long long fnv_hash_1a_64 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned long long h = 0xcbf29ce484222325ULL;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x100000001b3ULL;

   return h;
}

Редагувати:

• Ландон Керт Нолл рекомендує на своєму сайті алгоритм FVN-1A над оригінальним алгоритмом FVN-1: Удосконалений алгоритм краще розсіює останній байт у хеші. Я відповідно скоригував алгоритм.

Я б сказав, що головне правило - не котити своє. Спробуйте використовувати те, що було ретельно випробувано, наприклад, SHA-1 або щось подібне.

Хороша хеш-функція має такі властивості:

1. З огляду на хеш повідомлення, зловмисник обчислювально не може знайти інше повідомлення таким чином, щоб їх хеши були ідентичними.

2. Враховуючи пару повідомлень, m 'і m, обчислювально неможливо знайти два таких, що h (m) = h (m')

Ці два випадки НЕ те ж саме. У першому випадку є попередньо створений хеш, для якого ви намагаєтеся зіткнутись. У другому випадку ви намагаєтесь знайти будь-які два повідомлення, які стикаються. Друге завдання значно простіше через день народження "парадокс".

Якщо продуктивність не є великою проблемою, ви завжди повинні використовувати захищену хеш-функцію. Є дуже розумні атаки, які можна здійснити, форсуючи зіткнення в хеші. Якщо ви з самого початку використовуєте щось сильне, ви убезпечите себе від цього.

Не використовуйте MD5 або SHA-1 в нових проектах. Більшість криптографів, включаючи мене, вважають їх порушеними. Принциповим джерелом слабкості обох цих конструкцій є те, що друга властивість, яку я окреслив вище, не відповідає цим конструкціям. Якщо зловмисник може генерувати два повідомлення, m і m ', то обидва хеша з однаковим значенням, вони можуть використовувати ці повідомлення проти вас. SHA-1 і MD5 також страждають від атак на розширення повідомлень, які можуть фатально послабити вашу програму, якщо ви не будете обережні.

Більш сучасний хеш, такий як Whirpool - кращий вибір. Він не страждає від цих атак на розширення повідомлень і використовує ту саму математику, що і AES, щоб довести безпеку від різних атак.

Сподіваюся, що це допомагає!

Що ви тут говорите, ви хочете, щоб той, який використовує, має стійкість до зіткнення. Спробуйте використовувати SHA-2. Або спробуйте використовувати (хороший) блок-шифр у функції одностороннього стиснення (ніколи раніше не пробував цього), як AES в режимі Міягучі-Прінел. Проблема в тому, що вам потрібно:

1) мати IV. Спробуйте використовувати перші 256 біт дробових частин константи Хінчіна чи щось подібне. 2) мати схему оббивки. Легко. Заграйте його з хешу, як MD5 або SHA-3 (Keccak [вимовляється "кет-чак"). Якщо ви не піклуєтесь про безпеку (кілька інших сказали це), подивіться на FNV або lookup2 від Bob Jenkins (насправді я перший, хто рекомендує lookup2) Також спробуйте MurmurHash, це швидко (перевірте це: .16 cpb ).