如何计算S3存储桶中文件的MD5值 Python Lambda分块处理问题咨询

问题定位 #

• 现有代码的核心错误出在body = md5Object.get()['Body'].read()这一行：此处提前调用了read()方法，会把整个S3对象的内容一次性全部加载到内存中，返回结果为字节类型数据，不具备流式读取的read()方法，后续分块读取逻辑完全无法执行，也完全没有达到降低内存占用的设计目标
• 即使没有语法报错，该写法也会将大文件全部载入Lambda运行内存，很容易触发内存超限的运行错误

修复后代码 #

import boto3
import hashlib
from botocore.exceptions import ClientError

# 全局初始化S3资源，避免Lambda每次调用重复初始化，减少耗时
s3 = boto3.resource('s3')

def s3_md5sum(bucket_name, object_key):
    try:
        md5_object = s3.Object(bucket_name, object_key)
        # 不要调用read()，直接获取流式Body对象
        body_stream = md5_object.get()['Body']
    except ClientError:
        raise
    
    md5_obj = hashlib.md5()
    # 分块读取，块大小可根据Lambda内存配置调整，1MB块大小平衡性能和内存占用
    while True:
        buffer = body_stream.read(1024 * 1024)
        if not buffer:
            break
        md5_obj.update(buffer)
    
    return md5_obj.hexdigest().lower()

额外注意事项 #

• 需要根据待处理文件的最大体积调整Lambda的配置：处理5GB以内文件建议至少配置512MB运行内存、最长15分钟执行超时；如果是通过分块上传方式上传到S3的对象，本方法计算得到的MD5会和S3控制台显示的ETag不一致，因为分块上传的ETag是各分块MD5拼接后重新计算MD5、再拼接分块数得到的特殊值
• 若需要验证分块上传对象的完整性，需要单独适配分块ETag的计算规则

内容的提问来源于stack exchange，提问作者Terry Jensen