Python'da bir dosyanın karma işlemi

Python'un EOF'ye okumasını istiyorum, böylece sha1 veya md5 olsun, uygun bir karma elde edebilirim. Lütfen yardım et. Şimdiye kadar sahip olduğum şeyler:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR tonlarca bellek kullanmamak için tampon kullanır.

İnanıyorum ki, çok büyük dosyalarla çalışmanın hafıza sonuçlarını göz önünde bulundurduğumuzda, probleminizin özüne iniyoruz . Bu kötü çocuğun 2 gigabaytlık bir dosya için 2 g'lık ram karıştırmasını istemiyoruz, bu yüzden pasztorpisti'nin de belirttiği gibi , bu daha büyük dosyalarla yığınlar halinde uğraşmalıyız!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

Yaptığımız şey, hashlib'in kullanışlı züppe güncelleme yöntemiyle birlikte ilerledikçe bu kötü çocuğun hash'lerimizi 64kb'lik parçalar halinde güncellemektir . Bu şekilde, adamı tek seferde hash etmek için gereken 2 gb'den çok daha az bellek kullanırız!

Bunu şununla test edebilirsiniz:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

Umarım yardımcı olur!

Ayrıca bunların tümü sağ taraftaki bağlantılı soruda özetlenmiştir: Python'da büyük dosyaların MD5 karmasını alın

Zeyilname!

Genel olarak python yazarken pep-8'i takip etme alışkanlığı kazanmanıza yardımcı olur . Örneğin, python'da değişkenler tipik olarak camelCased değil alt çizgi ile ayrılmıştır. Ama bu sadece stil ve kötü stil okumak zorunda olan insanlar dışında hiç kimse bu şeyleri gerçekten önemsemiyor ... bu kodu yıllar sonra okuyabilirsiniz.

Bir dosyanın hash değerinin doğru ve verimli hesaplanması için (Python 3'te):

• 'b'Karakter kodlamasını ve satır bitirme dönüştürme sorunlarını önlemek için dosyayı ikili modda açın (yani dosya moduna ekleyin ).
• Tüm dosyayı hafızaya okumayın, çünkü bu bir hafıza kaybıdır. Bunun yerine, sırayla bloklar halinde okuyun ve her blok için hash'i güncelleyin.
• Çift arabelleğe almayı ortadan kaldırın, yani arabelleğe alınmış IO kullanmayın, çünkü zaten optimum blok boyutu kullanıyoruz.
• readinto()Tampon çalkalamasını önlemek için kullanın .

Misal:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Ben basitçe şunu öneririm:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

Buradaki diğer tüm cevaplar çok karmaşık görünüyor. Python, okurken zaten arabelleğe alıyor (ideal bir şekilde veya temel alınan depolama hakkında daha fazla bilgiye sahipseniz bu arabelleği yapılandırırsanız) ve bu nedenle, hash işlevinin ideal bulduğu parçalar halinde okumak daha iyidir, bu da onu daha hızlı veya en azından daha az CPU yoğun kılar. hash işlevini hesaplayın. Bu nedenle, arabelleğe almayı devre dışı bırakmak ve onu kendiniz taklit etmeye çalışmak yerine, Python arabelleğini kullanır ve neyi kontrol etmeniz gerektiğini kontrol edersiniz: verilerinizin tüketicisinin ideal bulduğu şey, karma blok boyutu.

Büyük dosyaları farklı algoritmalarla hash edebilen bir modül programladım.

pip3 install py_essentials

Modülü şu şekilde kullanın:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

İşte mmapnesneyi belleğe eşlemek için kullanan bir Python 3, POSIX çözümü (Windows değil!) .

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)