Hashlib的MD5对相同输入生成不同输出，目录文件哈希脚本求助

嘿，我一眼就看出问题所在啦！你遇到的同一个输入却得到不同哈希值的问题，根源是你在Hasher类里只初始化了一次hash_func实例——而hashlib的哈希对象是有状态的，每次调用update()都会把新数据追加到已有的计算上下文里，不会自动重置。也就是说，第一次计算后，这个实例已经保留了之前的哈希状态，第二次再用它计算时，是基于之前的结果继续累加，自然会得到不同的输出。

修复方案：每次计算都创建新的哈希实例 #

我们需要修改代码，让每次哈希计算都从一个全新的哈希实例开始，避免状态累积。同时还可以优化几个细节，比如大文件分块读取、目录排序保证哈希一致性等。

以下是修正后的完整代码：

import hashlib
import os
import sys

class Hasher:
    def _get_hash_func(self):
        # 每次调用都返回一个全新的MD5实例，彻底避免状态累积
        return hashlib.md5()

    def hash_file(self, file_path):
        hash_func = self._get_hash_func()
        with open(file_path, "rb") as file:
            # 大文件分块读取（4KB块），避免内存溢出
            chunk_size = 4096
            while chunk := file.read(chunk_size):
                hash_func.update(chunk)
        # 返回十六进制字符串（比digest()的字节串更易读和存储）
        return hash_func.hexdigest()

    def hash_dir(self, dir_path):
        hash_func = self._get_hash_func()
        # 对目录和文件名排序，保证相同结构的目录生成一致哈希（os.walk顺序不稳定）
        for dirpath, dirnames, filenames in os.walk(dir_path):
            # 先处理子目录，按名称排序
            for dirname in sorted(dirnames):
                dir_full_path = os.path.join(dirpath, dirname)
                # 用目录路径更新哈希，也可以递归加入子目录的哈希结果
                hash_func.update(dir_full_path.encode('utf-8'))
                hash_func.update(self.hash_dir(dir_full_path).encode('utf-8'))
            # 再处理文件，按名称排序
            for filename in sorted(filenames):
                file_full_path = os.path.join(dirpath, filename)
                # 结合文件路径和文件内容的哈希，保证文件移动后哈希变化（如果需要的话）
                hash_func.update(file_full_path.encode('utf-8'))
                hash_func.update(self.hash_file(file_full_path).encode('utf-8'))
        return hash_func.hexdigest()

关键细节说明 #

• 全新哈希实例：通过_get_hash_func()每次返回新的MD5对象，确保每次计算都是从零开始，不会累积之前的状态。
• 大文件分块读取：一次性读取大文件会占用大量内存，分块读取更高效且避免内存溢出。
• 排序目录/文件名：os.walk返回的目录和文件顺序可能因系统、文件系统不同而变化，排序后能保证相同结构的目录生成完全一致的哈希值。
• 目录哈希逻辑：这里的实现结合了路径名和内容哈希，如果你只关心文件内容（不管路径），可以调整逻辑，只累加所有文件内容的哈希值即可。

测试验证 #

你可以添加以下测试代码，验证相同输入的哈希一致性：

if __name__ == "__main__":
    hasher = Hasher()
    # 测试文件哈希一致性
    test_file = "example.txt"
    hash1 = hasher.hash_file(test_file)
    hash2 = hasher.hash_file(test_file)
    print(f"文件两次哈希是否一致: {hash1 == hash2}")  # 输出True

    # 测试目录哈希一致性
    test_dir = "example_dir"
    dir_hash1 = hasher.hash_dir(test_dir)
    dir_hash2 = hasher.hash_dir(test_dir)
    print(f"目录两次哈希是否一致: {dir_hash1 == dir_hash2}")  # 输出True

内容的提问来源于stack exchange，提问作者Nicolas Forstner