Вбудована функція hash () Python

Windows XP, Python 2.5:

hash('http://stackoverflow.com') Result: 1934711907

Google App Engine ( http://shell.appspot.com/ ):

hash('http://stackoverflow.com') Result: -5768830964305142685

Чому так? Як я можу мати хеш-функцію, яка дасть мені однакові результати на різних платформах (Windows, Linux, Mac)?

Використовуйте hashlib, як hash() було розроблено для використання для :

швидко порівняти ключі словника під час пошуку словника

і тому не гарантує, що вона буде однаковою у реалізаціях Python.

Як зазначено в документації, вбудована функція hash () не призначена для зберігання отриманих хешів десь зовні. Він використовується для надання хеш-значення об’єкта, для їх зберігання у словниках тощо. Це також залежить від реалізації (GAE використовує модифіковану версію Python). Перевіряти:

>>> class Foo:
...     pass
... 
>>> a = Foo()
>>> b = Foo()
>>> hash(a), hash(b)
(-1210747828, -1210747892)

Як бачите, вони різні, оскільки hash () використовує __hash__метод об'єкта замість "звичайних" алгоритмів хешування, таких як SHA.

Враховуючи вищесказане, раціональним вибором є використання модуля hashlib .

Відповідь абсолютно не дивно: насправді

In [1]: -5768830964305142685L & 0xffffffff
Out[1]: 1934711907L

так що якщо ви хочете отримати надійні відповіді на рядки ASCII , просто отримайте 32 нижчі біти як uint. Хеш-функція для рядків є 32-бітовою і майже портативною.

З іншого боку, ви взагалі не можете покладатися на отримання hash()будь-якого об’єкта, над яким ви не визначили явний __hash__метод як інваріантний.

Над рядками ASCII це працює лише тому, що хеш обчислюється на окремі символи, що утворюють рядок, як показано нижче:

class string:
    def __hash__(self):
        if not self:
            return 0 # empty
        value = ord(self[0]) << 7
        for char in self:
            value = c_mul(1000003, value) ^ ord(char)
        value = value ^ len(self)
        if value == -1:
            value = -2
        return value

де c_mulфункцією є "циклічне" множення (без переповнення), як у C.

Більшість відповідей припускають, що це пов’язано з різними платформами, але в цьому є й більше. З документаціїobject.__hash__(self) :

За замовчуванням __hash__()значення str, bytesі datetimeоб'єкти «солоні» з непередбачуваним випадковим значенням. Хоча вони залишаються незмінними в межах окремого процесу Python, їх не можна передбачити між повторними викликами Python.

Це призначено для забезпечення захисту від відмови в обслуговуванні, спричиненої ретельно підібраними вхідними даними, які використовують найгіршу ефективність вставки дикту, складність O (n²). Детальніше див. На http://www.ocert.org/advisories/ocert-2011-003.html .

Зміна значення хеш - функції впливає на порядок ітерації dicts, sets і інших відображень. Python ніколи не давав гарантій щодо цього впорядкування (і воно, як правило, коливається між 32-розрядною та 64-розрядною збірками).

Навіть запуск на одній машині дасть різні результати для всіх викликів:

$ python -c "print(hash('http://stackoverflow.com'))"
-3455286212422042986
$ python -c "print(hash('http://stackoverflow.com'))"
-6940441840934557333

Поки:

$ python -c "print(hash((1,2,3)))"
2528502973977326415
$ python -c "print(hash((1,2,3)))"
2528502973977326415

Дивіться також змінну середовища PYTHONHASHSEED:

Якщо ця змінна не встановлена або встановлена на random, випадкове значення використовується для насіння хеші str, bytesі datetimeоб'єкти.

Якщо PYTHONHASHSEEDвстановлено цілочисельне значення, воно використовується як фіксоване насіння для генерації hash()типів, охоплених рандомізацією хешу.

Його мета полягає в тому, щоб дозволити повторюване хешування, наприклад, для самотестів для самого інтерпретатора, або дозволити кластеру процесів python обмінюватися хеш-значеннями.

Ціле число має бути десятковим числом у діапазоні [0, 4294967295]. Вказівка ​​значення 0вимкне рандомізацію хешу.

Наприклад:

$ export PYTHONHASHSEED=0                            
$ python -c "print(hash('http://stackoverflow.com'))"
-5843046192888932305
$ python -c "print(hash('http://stackoverflow.com'))"
-5843046192888932305

Результати хешування варіюються між 32-бітовою та 64-бітною платформами

Якщо обчислюваний хеш повинен бути однаковим на обох платформах, розгляньте можливість використання

def hash32(value):
    return hash(value) & 0xffffffff

На думку, AppEngine використовує 64-розрядну реалізацію Python (-5768830964305142685 не вміщується в 32 біти), а ваша реалізація Python - 32 біти. Ви не можете покластися на те, що хеші об'єктів є істотно порівнянними між різними реалізаціями.

Це хеш-функція, яку Google використовує у виробництві для python 2.5:

def c_mul(a, b):
  return eval(hex((long(a) * b) & (2**64 - 1))[:-1])

def py25hash(self):
  if not self:
    return 0 # empty
  value = ord(self[0]) << 7
  for char in self:
    value = c_mul(1000003, value) ^ ord(char)
  value = value ^ len(self)
  if value == -1:
    value = -2
  if value >= 2**63:
    value -= 2**64
  return value

А як щодо знакового біта?

Наприклад:

Шістнадцяткове значення 0xADFE74A5представляє без підпису 2919134373та підпису-1375832923 . Правильне значення повинно бути підписане (біт знаку = 1), але python перетворює його як без знака, і ми маємо неправильне значення хешу після перекладу з 64 на 32 біт.

Будьте обережні, використовуючи:

def hash32(value):
    return hash(value) & 0xffffffff

Поліноміальний хеш для рядків. 1000000009і 239є довільними простими числами. Навряд чи випадково зіткнеться. Модульна арифметика не дуже швидка, але для запобігання зіткнення це більш надійно, ніж прийняття її за модулем потужності 2. Звичайно, зіткнення легко знайти навмисно.

mod=1000000009
def hash(s):
    result=0
    for c in s:
        result = (result * 239 + ord(c)) % mod
    return result % mod

Значення PYTHONHASHSEED може використовуватися для ініціалізації хеш-значень.

Спробуйте:

PYTHONHASHSEED python -c 'print(hash('http://stackoverflow.com'))'

Ймовірно, він просто запитує функцію, надану операційною системою, а не власний алгоритм.

Як кажуть інші коментарі, використовуйте hashlib або напишіть власну хеш-функцію.