如何从AWS S3 ETag计算MD5或从管道压缩流计算ETag？

数据老陈

2026-7-28

问题（翻译后）

我知道可以计算本地文件的ETag，但这个方案不适用我的场景：我通过内存管道将文件压缩后直接上传至AWS S3，使用的命令如下：

zip -r - $input_path | tee >(md5sum - >> $MD5_FILE) >(aws s3 cp - s3://$bucket_name/$final_path_zip) >/dev/null

上传完成后，我希望验证S3返回的ETag与上述命令中计算的MD5是否匹配。因此想了解：是否可通过Bash从ETag计算文件的完整MD5校验和？或者如何从管道中的压缩流计算ETag？

解决方案

首先明确AWS S3 ETag的核心规则：

单块上传（文件<100MB或未手动分块）：ETag就是文件内容的纯MD5哈希值
分块上传（默认>100MB自动分块，或手动指定分块）：ETag格式为{所有分块MD5拼接值的MD5}-{分块数量}

1. 单块上传场景：直接对比MD5与ETag

如果压缩后的文件大小小于100MB，S3会用单块上传，此时ETag和你用md5sum计算的哈希值直接对应，只需做简单提取对比：

# 从本地记录文件提取MD5哈希值
LOCAL_MD5=$(awk '{print $1}' $MD5_FILE)
# 获取S3文件的ETag并去除引号
S3_ETAG=$(aws s3api head-object --bucket $bucket_name --key $final_path_zip --query 'ETag' --output text | tr -d '"')

# 校验匹配
if [ "$LOCAL_MD5" = "$S3_ETAG" ]; then
    echo "校验通过"
else
    echo "校验失败"
fi

2. 分块上传场景：从压缩流计算对应ETag

如果压缩后的文件超过100MB，S3会自动分块上传，此时需要按S3默认分块大小（100MB）拆分压缩流，计算每个分块的MD5，再生成符合规则的ETag：

# 定义S3默认分块大小（100MB，单位字节）
CHUNK_SIZE=$((100 * 1024 * 1024))

# 从压缩流计算分块MD5并生成ETag
zip -r - $input_path | tee >(aws s3 cp - s3://$bucket_name/$final_path_zip) | \
    awk -v chunk_size="$CHUNK_SIZE" '
        BEGIN {
            chunk_len = 0
            md5_pipe = "md5sum"
        }
        {
            # 累加当前块长度（含换行符）
            chunk_len += length($0) + 1
            # 将内容传入md5计算管道
            print | md5_pipe
            # 达到分块大小则关闭当前管道，记录分块MD5
            if (chunk_len >= chunk_size) {
                close(md5_pipe)
                chunk_len = 0
                md5_pipe = "md5sum"
            }
        }
        END {
            # 处理最后一个不足分块大小的部分
            if (chunk_len > 0) close(md5_pipe)
        }
    ' > chunk_md5s.txt

# 生成计算后的ETag
CHUNK_COUNT=$(wc -l < chunk_md5s.txt)
CALCULATED_ETAG=$(cat chunk_md5s.txt | awk '{printf $1}' | md5sum | awk -v cnt="$CHUNK_COUNT" '{print $1 "-" cnt}')

# 获取S3的ETag并对比
S3_ETAG=$(aws s3api head-object --bucket $bucket_name --key $final_path_zip --query 'ETag' --output text | tr -d '"')

if [ "$S3_ETAG" = "$CALCULATED_ETAG" ]; then
    echo "校验通过"
else
    echo "校验失败"
fi

# 清理临时文件
rm chunk_md5s.txt

关键注意点

若手动指定了分块大小上传，需将CHUNK_SIZE修改为对应值
分块上传的ETag无法反算出原始文件的完整MD5，因为分块MD5拼接后的哈希是不可逆的
上述脚本采用逐块处理，不会占用过多内存，适合大文件管道传输场景

内容的提问来源于stack exchange，提问作者Michou Robert