Python开发本地文件多哈希校验工具时单次读取多少字节可兼容多平台

你当前的实现每次只读1字节，会产生极高的IO调用开销，处理稍大的文件时速度会非常慢，没有性能优化空间。

跨平台通用的最优块大小选择 #

优先选择**4096字节（4KB）**作为读取块大小，适配性和性能的平衡度最高：

• 该大小匹配绝大多数操作系统、文件系统的默认磁盘块大小，能最大化磁盘IO效率，不会产生额外的读写开销
• 内存占用极低，即使同时计算十余种哈希值，内存开销也可以完全忽略
• 全平台兼容，Windows、Linux、macOS、各类嵌入式Linux/BSD系统都能无异常运行，不存在兼容性问题

如果你的工具主要处理GB级以上的大文件，可以将块大小调整到32768字节（32KB）或65536字节（64KB），能进一步降低IO调用次数，提升大文件处理速度，但是不建议超过128KB，超过该阈值后性能提升几乎可以忽略，还会额外占用内存，低配置设备上可能出现卡顿。

优化后的代码示例 #

import hashlib

class FileHashCalculator:
    # 块大小可根据实际使用场景调整
    CHUNK_SIZE = 4096

    def __init__(self, file_path):
        self.path = file_path
        self.md5 = ""
        self.sha256 = ""
        self.sha512 = ""

    def get_chunks(self):
        # 使用with上下文管理器自动管理文件生命周期，避免异常场景下的文件描述符泄漏
        with open(self.path, 'rb') as fd:
            # 兼容Python3.8及以上版本的写法
            while chunk := fd.read(self.CHUNK_SIZE):
                yield chunk

    # 如果需要兼容Python3.8以下版本，可以把get_chunks替换为如下写法：
    # def get_chunks(self):
    #     with open(self.path, 'rb') as fd:
    #         while True:
    #             chunk = fd.read(self.CHUNK_SIZE)
    #             if not chunk:
    #                 break
    #             yield chunk

    def calculate(self):
        md5 = hashlib.md5()
        sha256 = hashlib.sha256()
        sha512 = hashlib.sha512()

        for chunk in self.get_chunks():
            md5.update(chunk)
            sha256.update(chunk)
            sha512.update(chunk)

        self.md5 = md5.hexdigest()
        self.sha256 = sha256.hexdigest()
        self.sha512 = sha512.hexdigest()

内容的提问来源于stack exchange，提问作者xan avatus