生成S3文件校验和异常：无文件变更但Lambda每次执行返回不同值

问题原因 #

你的代码每次生成不同校验和，核心是用requests.get()请求S3文件时，可能拿到了动态压缩后的内容（S3默认会对符合条件的文件启用gzip压缩），或者HTTP请求层面的额外处理导致每次响应体存在细微差异，最终哈希值变化。

解决方案 #

方案一：用boto3直接读取S3对象（推荐）

通过AWS官方SDK直接访问S3对象的原始字节流，避免HTTP请求的不确定因素，同时符合AWS最佳实践。

修改后的代码：

import hashlib
import boto3

def checksum_s3(bucket_name, object_key):
    BUF_SIZE = 65536  # 64KB分块读取
    m = hashlib.sha256()
    s3 = boto3.client('s3')
    
    # 流式读取S3对象内容，避免占用过多内存
    response = s3.get_object(Bucket=bucket_name, Key=object_key)
    for data in response['Body'].iter_chunks(chunk_size=BUF_SIZE):
        m.update(data)
    return m.hexdigest()

def lambda_handler(event, context):
    # 从你的URL中拆分bucket和对象路径
    bucket_name = "xxx-xxx-xxxxx-us-east-1-dev"
    object_key = "HDBAPA104APAL_Barbapapa_xxx_servicing_25_clip_submission_5dot1.mov"
    print(f"{checksum_s3(bucket_name, object_key)}")

方案二：修改requests请求，强制获取原始内容

如果坚持用requests，需在请求头中指定不接受压缩格式，确保每次拿到原始文件内容：

修改后的checksum函数：

def checksum(url):
    BUF_SIZE = 65536
    m = hashlib.sha256()
    # 强制要求返回原始未压缩内容
    headers = {'Accept-Encoding': 'identity'}
    r = requests.get(url, headers=headers)
    r.raise_for_status()  # 确保请求成功
    for data in r.iter_content(BUF_SIZE):
        m.update(data)
    return m.hexdigest()

说明 #

• 方案一优势：无需依赖公开/预签名URL，通过AWS API直接交互，安全性更高，且Lambda只需配置S3读取权限即可。
• 方案二原理：Accept-Encoding: identity告诉S3不对内容压缩，返回原始字节流，保证每次下载内容完全一致。

内容的提问来源于stack exchange，提问作者srinin