如何在Python中安全存储SHA256哈希内部状态，实现续算哈希？

核心思路 #

可以直接提取hashlib.sha256()对象的内部状态参数，手动序列化后存储，后续通过这些参数重建等价的哈希对象，效果等同于调用copy()方法，且避免了pickle的安全风险。

实现步骤 #

SHA256哈希对象的内部状态包含三个关键部分：已处理的总字节数、未处理的缓冲区字节、当前哈希值缓冲区。我们可以通过访问这些属性（Python 3.8+版本稳定支持），用struct模块打包成安全的字节流，存储后再反向解包重建。

1. 提取哈希状态

import hashlib
import struct

def extract_sha256_state(sha_obj):
    # 提取内部核心状态：总字节数（64位）、缓冲区（64字节）、哈希值缓冲区（32字节）
    total_bytes = sha_obj._count
    buffer = sha_obj._buffer
    digest_buffer = sha_obj._digest
    # 按大端格式打包成字节流
    return struct.pack('>Q64s32s', total_bytes, buffer, digest_buffer)

2. 从状态重建哈希对象

def restore_sha256_state(state_bytes):
    # 解包状态数据
    total_bytes, buffer, digest_buffer = struct.unpack('>Q64s32s', state_bytes)
    # 创建新的SHA256对象
    sha_obj = hashlib.sha256()
    # 恢复内部状态
    sha_obj._count = total_bytes
    sha_obj._buffer = buffer
    sha_obj._digest = digest_buffer
    return sha_obj

3. 验证有效性

# 测试流程
original_sha = hashlib.sha256()
original_sha.update(b'first_part_')
state_data = extract_sha256_state(original_sha)

# 模拟中断后恢复
restored_sha = restore_sha256_state(state_data)
restored_sha.update(b'second_part')

# 两者的最终哈希值应完全一致
print(original_sha.hexdigest())
print(restored_sha.hexdigest())

针对S3分片上传场景的适配 #

1. 存储状态：每次上传分片后，将提取的状态字节用base64编码（转为字符串），作为元数据附加到当前S3分片对象上。
2. 续传恢复：断点续传时，获取最后一个已上传分片的元数据，解码base64得到状态字节，用restore_sha256_state重建哈希对象，继续处理后续分片即可。

注意事项 #

• 确保运行环境的Python版本一致（3.8+），不同版本的hashlib内部属性可能存在差异。
• 状态数据仅包含哈希计算的必要参数，无安全风险，远优于pickle的序列化方式。

内容的提问来源于stack exchange，提问作者Philip Couling