Amazon S3跨存储桶复制时是否会自动校验对象完整性？

1. 跨桶复制是否自动校验完整性？无报错是否等于复制全部成功？ #

完整性校验部分 #

AWS S3的跨区域复制（CRR）和同区域复制（SRR）都会在底层自动执行端到端完整性校验：

• 服务端从源桶读取对象时，会计算对象的校验和
• 写入目标桶后，会重新计算目标对象的校验和，与源端结果比对
• 仅当校验和完全一致时，才会标记对象复制完成，不一致时会自动重试复制，不会保留校验失败的对象

无报错不等于复制全部完成 #

你通过boto3调用复制配置接口无报错，仅代表你的复制规则配置请求被S3服务端成功接收，不能证明所有对象都已复制成功，常见的例外场景包括：

• 复制是异步执行的，大对象、存量对象的同步需要一定时间，配置完成时可能还在后台同步中
• 如果你开启复制规则时没有额外配置存量对象复制，源桶中规则生效前上传的历史对象不会被同步，这个过程不会抛出错误
• 单个对象复制失败（比如源端对象权限不足、目标桶策略拦截、KMS密钥权限不足等）默认不会触发配置接口报错，只会标记该对象复制失败

2. 跨桶复制验证的最佳实践 #

• 优先配置复制监控告警：开启S3复制指标与事件通知，复制失败的事件会主动推送到SNS/SQS，无需手动轮询即可第一时间感知异常，可通过boto3的put_bucket_metrics_configuration接口完成配置
• 存量对象全量校验：同步完成后，分别调用list_objects_v2接口拉取源桶和目标桶的全量对象清单，逐一比对对象的Key、大小、校验和（建议优先比对对象的SHA-256等用户自定义校验和，多段上传对象的ETag不等于MD5，不适合直接作为校验依据）
• 单个对象状态校验：对于指定对象，可以调用head_object接口查询目标桶对象的元数据，若ReplicationStatus字段值为COMPLETED则代表该对象复制成功，参考代码如下：

import boto3

s3_client = boto3.client("s3")
# 若开启了版本控制可额外指定VersionId参数
response = s3_client.head_object(Bucket="目标桶名称", Key="待校验对象Key")
if response.get("ReplicationStatus") == "COMPLETED":
    print("对象复制成功")

• 增量对象校验：新增对象上传到源桶后，间隔对应大小的同步时长后，主动查询目标桶对象的存在性、元数据、校验和与源端是否一致
• 特殊属性校验：如果你的复制规则配置了同步标签、版本、自定义元数据、ACL等属性，校验时需要额外比对这些属性是否与源端完全一致

内容的提问来源于stack exchange，提问作者Sebastian Delgado