Хешування файлу в Python

Я хочу, щоб python читав в EOF, щоб я міг отримати відповідний хеш, будь то sha1 або md5. Будь ласка, допоможіть. Ось що я маю на сьогодні:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR використовують буфери, щоб не використовувати тонни пам'яті.

Я вважаю, що ми дійдемо до суті вашої проблеми, коли розглянемо наслідки роботи з дуже великими файлами для пам'яті . Ми не хочемо, щоб цей поганий хлопчик пробив 2 концерти оперативної пам'яті для файлу розміром 2 гігабайти, тому, як зазначає pasztorpisti , нам доведеться мати справу з цими більшими файлами шматками!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

Те, що ми зробили, це те, що ми оновлюємо свої хеші цього поганого хлопчика фрагментами обсягом 64 кб, рухаючись разом із зручним методом оновлення hashlib . Таким чином, ми використовуємо набагато менше пам’яті, ніж 2 Гб, що знадобиться, щоб хешувати хлопця відразу!

Ви можете перевірити це за допомогою:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

Сподіваюся, це допоможе!

Також усе це викладено у зв’язаному запитанні праворуч: Отримайте хеш великих файлів MD5 у Python

Додаток!

Загалом, під час написання python це допомагає отримати звичку слідувати pep-8 . Наприклад, у python змінні, як правило, виділяються підкресленням, а не camelCased. Але це просто стиль, і ніхто насправді не піклується про ці речі, крім людей, яким доводиться читати поганий стиль ... а це, можливо, ви читаєте цей код через роки.

Для правильного та ефективного обчислення хеш-значення файлу (у Python 3):

• Відкрийте файл у двійковому режимі (тобто додайте 'b'до режиму файлу), щоб уникнути проблем із кодуванням символів та перетворенням рядків.
• Не читайте повний файл у пам’яті, оскільки це втрата пам’яті. Натомість послідовно читайте його блок за блоком та оновлюйте хеш для кожного блоку.
• Виключіть подвійну буферизацію, тобто не використовуйте буферизований ввід-вивід, оскільки ми вже використовуємо оптимальний розмір блоку.
• Використовуйте, readinto()щоб уникнути збивання буфера.

Приклад:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Я б запропонував просто:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

Всі інші відповіді тут, здається, занадто ускладнюють. Python вже буферизує під час читання (ідеальним чином, або ви налаштовуєте цю буферизацію, якщо у вас є більше інформації про базове сховище), і тому краще читати шматками, хеш-функція вважає ідеальним, що робить її швидшою або, принаймні, менш інтенсивною для процесора обчислити хеш-функцію. Отже, замість того, щоб вимикати буферизацію та намагатися емулювати її самостійно, ви використовуєте буферизацію Python і контролюєте те, чим слід керувати: те, що споживач ваших даних вважає ідеальним, розмір хеш-блоку.

Я запрограмував модуль, який здатний хешувати великі файли з різними алгоритмами.

pip3 install py_essentials

Використовуйте модуль так:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

Ось рішення Python 3, POSIX (не Windows!), Яке використовує mmapдля відображення об’єкта в пам’яті.

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)