如何用AEAD对无法存入内存的大文件进行加密与认证？

场景说明 #

你有一个无法完整加载进主内存的大文件，分为两部分：

• 开头小于100字节的小片段：需要加密
• 剩余的大部分内容：仅需认证（无需加密）
  目标是用ChaCha20-Poly1305或AES-GCM这类AEAD算法实现，但Python Cryptography库的AEAD API要求associated_data为bytes-like对象，无法直接传入未加载进内存的大文件内容。

推荐解决方案：哈希大文件后认证摘要 #

你提到的第一种方案是安全可行的，核心思路是：对大文件分块计算哈希摘要，将摘要作为associated_data传入AEAD算法，以此实现对大文件内容的认证。这种方式既避免了加载整个大文件进内存，又能保证认证安全性——只要大文件内容有任何篡改，哈希摘要就会变化，AEAD验证时会直接失败。

具体实现步骤 #

1. 分块计算大文件哈希：用SHA-256（安全性足够）分块读取大文件，逐步更新哈希值，最终得到固定长度的摘要。
2. 加密小片段并绑定哈希：使用AEAD算法加密开头的小片段，同时将大文件的哈希摘要作为associated_data传入，完成加密与关联认证。
3. 解密与验证：解密时重新计算大文件哈希摘要并传入associated_data，若摘要不匹配或小片段被篡改，解密会抛出异常。

代码示例（ChaCha20-Poly1305） #

from cryptography.hazmat.primitives.ciphers.aead import ChaCha20Poly1305
from cryptography.hazmat.primitives import hashes
import os

# 生成随机密钥（实际使用需安全存储）
key = ChaCha20Poly1305.generate_key()
chacha = ChaCha20Poly1305(key)
nonce = os.urandom(12)  # ChaCha20-Poly1305标准nonce长度为12字节

def compute_large_file_hash(file_path, chunk_size=4096, small_part_len=96):
    """分块计算大文件的SHA-256哈希摘要"""
    digest = hashes.Hash(hashes.SHA256())
    with open(file_path, "rb") as f:
        f.seek(small_part_len)  # 跳过开头的小部分
        while chunk := f.read(chunk_size):
            digest.update(chunk)
    return digest.finalize()

# 1. 计算大文件哈希摘要
file_path = "your_large_file.bin"
large_part_hash = compute_large_file_hash(file_path)

# 2. 读取并加密开头小部分
with open(file_path, "rb") as f:
    small_part = f.read(96)
ciphertext = chacha.encrypt(nonce, small_part, large_part_hash)

# ------------------------------
# 解密与验证流程
# ------------------------------
new_large_part_hash = compute_large_file_hash(file_path)
try:
    decrypted_small_part = chacha.decrypt(nonce, ciphertext, new_large_part_hash)
    print("解密成功，内容未被篡改")
except Exception as e:
    print("解密失败，内容可能被篡改或密钥/nonce错误:", str(e))

备选方案：自定义可迭代bytes-like对象 #

如果你不想用哈希摘要的方式，也可以自定义实现__bytes__或迭代器协议的类，让它分块读取大文件内容模拟bytes-like对象。但Python Cryptography的AEAD API是一次性处理逻辑，这种方式需要调用底层更新接口，复杂度远高于哈希方案，因此不推荐。

内容的提问来源于stack exchange，提问作者user2373145