如何使用aws s3 sync同步内容修改但大小不变的文件？

针对CI/CD流水线中Git检出后文件时间戳重置导致s3 sync无效重复上传的问题，以下是几种仅同步内容变更文件的可行方案：

方案1：借助Git变更记录精准同步 #

Git本身能精准追踪文件内容的变更，我们可以直接利用提交差异获取需要同步的文件列表：

1. 在CI环境中确保拉取了足够的Git历史（至少能获取上一次部署的提交哈希），可以把上一次部署的commit哈希存在S3的元文件或CI环境变量中
2. 生成变更文件列表：

   git diff --name-only <上一次部署的commit哈希> HEAD
   

3. 同步这些文件：
   • 少量文件时，用s3 sync的包含/排除规则：

     aws s3 sync ./ s3://your-bucket/ --exclude "*" --include "file1.txt" --include "dir/file2.jpg"
     

   • 文件较多时，用xargs批量执行s3 cp：

     git diff --name-only <prev-commit> HEAD | xargs -I {} aws s3 cp {} s3://your-bucket/{}
     

优势：完全基于Git的内容追踪，精准同步真正变更的文件，无冗余操作
局限：需要维护上一次部署的commit记录，首次部署需单独处理

方案2：通过文件哈希与S3 ETag对比同步 #

S3对象的ETag（非分段上传的文件通常是MD5哈希）可作为内容一致性的判断依据：

1. 编写Shell脚本遍历本地文件，计算每个文件的MD5哈希：

   local_hash=$(md5sum "filename" | awk '{print $1}')
   

2. 获取S3对应文件的ETag并处理引号：

   s3_etag=$(aws s3api head-object --bucket your-bucket --key "filename" --query 'ETag' --output text | tr -d '"')
   

3. 对比哈希值，不一致则执行s3 cp同步
   优势：完全基于内容哈希，不受时间戳和文件大小影响
   局限：需编写自定义脚本，大量文件时会增加AWS API调用次数，需注意限额

方案3：使用AWS CLI的--checksum参数（推荐） #

AWS CLI v2.1.0及以上版本的s3 sync支持--checksum选项，优先通过CRC32C或SHA256哈希判断文件是否需要同步，彻底摆脱时间戳和大小的限制：

aws s3 sync ./ s3://your-bucket/ --checksum

首次执行时会为S3中的对象添加Checksum元数据，之后仅同步哈希不一致的文件，完美覆盖内容变更但大小不变的场景。
优势：官方原生支持，无需额外脚本，操作简单可靠
局限：需确保CI环境的AWS CLI版本≥v2.1.0

内容的提问来源于stack exchange，提问作者Ray Jasson