AWS S3单分片分段上传Etag（含-1）计算及验证问题咨询

为什么单分片文件会被标记为分段上传？ #

• 只要使用了S3的分段上传API（哪怕只上传了1个分片），S3就会将该文件标记为分段上传类型。这种情况常见于：
  • 手动调用分段上传接口完成上传（比如用SDK编写的代码强制走分段流程）
  • 使用工具时开启了强制分段上传选项（例如aws s3 cp命令加上--multipart-chunk-size参数，哪怕文件大小远小于阈值）
  • 部分第三方存储工具默认采用分段上传逻辑，不判断文件大小

带-1的Etag计算规则 #

这类Etag属于分段上传的特殊场景，计算逻辑和普通单文件Etag不同，具体步骤：

1. 将整个文件作为1个分片，计算该分片的二进制MD5哈希值
2. 把这个二进制MD5值作为输入，再次计算MD5哈希
3. 将第二次计算得到的MD5转为十六进制字符串，加上后缀-1，就是最终的Etag

举个例子：假设文件的普通MD5是abc123（十六进制），对应的二进制值是\xab\xc1\x23...，对这个二进制值再算MD5得到def456，那最终Etag就是def456-1

本地验证的解决方法 #

修改你的本地Etag计算脚本，针对标记为分段上传且分片数为1的文件，按照以下逻辑计算：

import hashlib

def calculate_multipart_etag_single_part(file_path):
    # 计算分片的MD5（二进制）
    md5 = hashlib.md5()
    with open(file_path, 'rb') as f:
        for chunk in iter(lambda: f.read(1024*1024), b''):
            md5.update(chunk)
    part_md5_bytes = md5.digest()
    
    # 对分片MD5的二进制值再算一次MD5
    final_md5 = hashlib.md5(part_md5_bytes).hexdigest()
    return f"{final_md5}-1"

注意：如果你的分段上传工具设置了特定的分片大小（而非整个文件作为一个分片），需要按照实际分片大小拆分文件后再计算，但这种情况在-1的场景下极少出现，通常都是整个文件作为一个分片。

内容的提问来源于stack exchange，提问作者ksoth