Хороша функція хешу для струн

Я намагаюся придумати гарну хеш-функцію для рядків. І я думав, що може бути гарною ідеєю підбити підсумки значень Unicode для перших п'яти символів рядка (якщо припустити, що їх п'ять, інакше зупиніться там, де він закінчується). Це було б гарною ідеєю чи поганою?

Я роблю це на Java, але не думаю, що це значно зміниться.

Зазвичай хеш не робитиме суми, в іншому випадку stopі potsбуде мати той же хеш.

і ви не обмежуєте це першими n символами, бо в іншому випадку будинок і будинки матимуть однаковий хеш.

Як правило, хеші приймають значення та помножують їх на просте число (робить його більш ймовірним генерувати унікальні хеші). Ви можете зробити щось на кшталт:

int hash = 7;
for (int i = 0; i < strlen; i++) {
    hash = hash*31 + charAt(i);
}

Якщо це справа безпеки, ви можете використовувати криптовалюту Java:

import java.security.MessageDigest;

MessageDigest messageDigest = MessageDigest.getInstance("SHA-256");
messageDigest.update(stringToEncrypt.getBytes());
String encryptedString = new String(messageDigest.digest());

Ймовірно, ви повинні використовувати String.hashCode () .

Якщо ви дійсно хочете самостійно реалізувати hashCode:

Не спокушайтесь виключити значні частини об'єкта з обчислення хеш-коду для підвищення продуктивності - Джошуа Блох, Ефективна Java

Використання лише перших п’яти символів - погана ідея . Подумайте про ієрархічні назви, такі як URL-адреси: всі вони матимуть однаковий хеш-код (адже всі вони починаються з "http: //", що означає, що вони зберігаються під тим же відром у хеш-карті, демонструючи жахливу ефективність.

Ось історія війни, перефразована на хеш-коді String з " Ефективна Java ":

Функція String хеш, реалізована у всіх випусках до 1,2, розглянута не більше шістнадцяти символів, рівномірно розміщених по всій рядку, починаючи з першого символу. Для великих колекцій ієрархічних імен, таких як URL-адреси, ця хеш-функція відображала жахливу поведінку.

Якщо ви робите це на Java, то навіщо це робити? Просто зателефонуйте .hashCode()на рядок

ГуаваHashFunction ( javadoc ) забезпечує гідне некрипто-сильне хешування.

Ця функція, яку надає Нік, хороша, але якщо ви використовуєте новий String (байт [] байт) для перетворення в String, він не вдався. Ви можете використовувати цю функцію для цього.

private static final char[] hex = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };

public static String byteArray2Hex(byte[] bytes) {
    StringBuffer sb = new StringBuffer(bytes.length * 2);
    for(final byte b : bytes) {
        sb.append(hex[(b & 0xF0) >> 4]);
        sb.append(hex[b & 0x0F]);
    }
    return sb.toString();
}

public static String getStringFromSHA256(String stringToEncrypt) throws NoSuchAlgorithmException {
    MessageDigest messageDigest = MessageDigest.getInstance("SHA-256");
    messageDigest.update(stringToEncrypt.getBytes());
    return byteArray2Hex(messageDigest.digest());
}

Може, це може комусь допомогти

// djb2 hash function
unsigned long hash(unsigned char *str)
{
    unsigned long hash = 5381;
    int c;

    while (c = *str++)
        hash = ((hash << 5) + hash) + c; /* hash * 33 + c */

    return hash;
}

джерело Логіка за хеш-функцією djb2 - SO

По чутках, FNV-1 є гарною хеш-функцією для рядків.

Для довгих рядків (довше, ніж, скажімо, близько 200 символів) ви можете отримати хороші показники з хеш-функції MD4 . Як криптографічна функція, вона була зламана близько 15 років тому, але для некриптографічних цілей вона все ще дуже хороша і на диво швидка. У контексті Java вам доведеться перетворити 16-бітні charзначення в 32-бітні слова, наприклад, згрупувавши такі значення в пари. Швидку реалізацію MD4 на Java можна знайти в shlib . Можливо, надмірність у контексті завдання в класі, але в іншому випадку варто спробувати.

Якщо ви хочете побачити стандартні впровадження в галузі, я погляну на java.security.MessageDigest .

"Дайджести повідомлень - це безпечні хеш-функції з одностороннім способом, які приймають дані довільного розміру та виводять хеш-фіксовану фіксовану довжину."

ось посилання, що пояснює багато різних хеш-функцій, я зараз віддаю перевагу хеш-функції ELF для вашої конкретної проблеми. Він приймає в якості рядка довільну довжину.

sdbm: цей алгоритм був створений для бібліотеки баз даних sdbm (повторне втілення ndbm у відкритому домені)

static unsigned long sdbm(unsigned char *str)
{   
    unsigned long hash = 0;
    int c;
    while (c = *str++)
            hash = c + (hash << 6) + (hash << 16) - hash;

    return hash;
}

         public String hashString(String s) throws NoSuchAlgorithmException {
    byte[] hash = null;
    try {
        MessageDigest md = MessageDigest.getInstance("SHA-256");
        hash = md.digest(s.getBytes());

    } catch (NoSuchAlgorithmException e) { e.printStackTrace(); }
    StringBuilder sb = new StringBuilder();
    for (int i = 0; i < hash.length; ++i) {
        String hex = Integer.toHexString(hash[i]);
        if (hex.length() == 1) {
            sb.append(0);
            sb.append(hex.charAt(hex.length() - 1));
        } else {
            sb.append(hex.substring(hex.length() - 2));
        }
    }
    return sb.toString();
}

Хороша ідея працювати з непарним числом, намагаючись розробити гарну функцію прискорення для рядка. ця функція приймає рядок і повертає значення індексу, поки її робота досить хороша. і має менше зіткнень. індекс коливається від 0 до 300, можливо, навіть більше, ніж це, але я поки що не домігся вищого навіть з довгими словами типу "електромеханічна інженерія"

int keyHash(string key)
{
    unsigned int k = (int)key.length();
    unsigned int u = 0,n = 0;

    for (Uint i=0; i<k; i++)
    {
        n = (int)key[i];
        u += 7*n%31;
    }
    return u%139;
}

Ще одна річ, яку ви можете зробити, - це множення кожного символу int розбору на індекс, оскільки він збільшується, як слово "ведмідь" (0 * b) + (1 * e) + (2 * a) + (3 * r), яке дасть вам значення int, з яким потрібно грати. Перша хеш-функція вище стикається на "тут" і "чути", але все ще чудово дає хороші унікальні значення. наведений нижче не стикається з "тут" і "чути", тому що я помножую кожен символ на індекс у міру його збільшення.

int keyHash(string key)
{
    unsigned int k = (int)key.length();
    unsigned int u = 0,n = 0;

    for (Uint i=0; i<k; i++)
    {
        n = (int)key[i];
        u += i*n%31;
    }
    return u%139;
}

Ось проста функція хешу, яку я використовую для створеної хеш-таблиці. Це в основному для прийняття текстового файлу і зберігає кожне слово в індексі, який представляє алфавітний порядок.

int generatehashkey(const char *name)
{
        int x = tolower(name[0])- 97;
        if (x < 0 || x > 25)
           x = 26;
        return x;
}

Це, в основному, це слова, хешовані відповідно до їх першої літери. Отже, слово, що починається з "a", отримає хеш-ключ 0, "b" отримає 1 і так далі, а "z" буде 25. Номери та символи мали б хеш-ключ 26. Ось перевага, яку це забезпечує ; Ви можете легко і швидко обчислити, де дане слово буде індексовано в хеш-таблиці, оскільки все це в алфавітному порядку, приблизно так: Код можна знайти тут: https://github.com/abhijitcpatil/general

Даючи наступний текст у якості введення: Аттікус одного дня сказав Джему: «Я вважаю за краще ви стріляли з жерстяних банок на задньому дворі, але я знаю, що підете за птахами. Розстріляйте всі сині сорочки, які вам захочеться, якщо їх вдарить, але пам’ятайте, що вбити гнучка птаха гріх ”. Це був єдиний раз, коли я чув, як Аттікус сказав, що було гріхом щось робити, і я поцікавився міс Модді про це. "Право твого батька", - сказала вона. «Знущаючі птахи не займаються одним, окрім того, що створюють музику для нас. Вони не їдять сади людей, не гніздяться на кукурудзяних ліжечках, вони не роблять одного, але співають для нас своє серце. Ось чому гріхом вбити глумливого птаха.

Це буде вихід:

0 --> a a about asked and a Atticus a a all after at Atticus
1 --> but but blue birds. but backyard
2 --> cribs corn can cans
3 --> do don’t don’t don’t do don’t do day
4 --> eat enjoy. except ever
5 --> for for father’s
6 --> gardens go
7 --> hearts heard hit
8 --> it’s in it. I it I it’s if I in
9 --> jays Jem
10 --> kill kill know
11 --> 
12 --> mockingbird. music make Maudie Miss mockingbird.”
13 --> nest
14 --> out one one only one
15 --> people’s
16 --> 17 --> right remember rather
18 --> sin sing said. she something sin say sin Shoot shot said
19 --> to That’s their thing they They to thing to time the That to the the tin to
20 --> us. up us
21 --> 
22 --> why was was want
23 --> 
24 --> you you you’ll you
25 --> 
26 --> “Mockingbirds ” “Your ‘em “I’d

Це дозволить уникнути будь-якого зіткнення, і це буде швидко, поки ми не використаємо зрушення в розрахунках.

 int k = key.length();
    int sum = 0;
    for(int i = 0 ; i < k-1 ; i++){
        sum += key.charAt(i)<<(5*i);
    }