如何验证使用aws s3 cp命令的S3文件传输是否100%成功？

嘿，我来分享几个实用的方法，帮你确认用aws s3 cp . s3://mybucket --recursive上传的文件是不是100%成功了：

• 检查命令的退出状态码
  在Linux或macOS终端里，任何命令执行完成后都会返回一个退出码——0代表执行成功，非0则意味着有错误发生。
  你在传输命令执行完毕后，立刻输入：

  echo $?
  

  如果输出是0，说明AWS CLI没有检测到任何传输错误。不过要注意：如果传输过程中你没留意到报错，这个退出码是最直接的快速判断，但要是追求绝对严谨，建议结合下面的方法交叉验证。

• 用sync的dry-run模式对比本地与S3的差异
  aws s3 sync的核心作用是同步本地和S3的内容，加上--dry-run参数后，它只会对比两边的文件差异，不会实际上传或下载任何文件。
  执行这条命令：

  aws s3 sync . s3://mybucket --recursive --dry-run
  

  • 如果输出为空，说明本地目录和S3桶里的文件完全一致（文件名、大小、修改时间/内容都匹配）；
  • 如果有输出，会列出所有本地有但S3缺失、或者两边内容不一致的文件，你可以针对这些文件单独处理。

• 对比文件哈希值（最严谨的完整性验证）
  这个方法能确保每个文件的内容完全一致，适合对数据完整性要求极高的场景：

  1. 生成本地所有文件的SHA256哈希列表：

     find . -type f -exec sha256sum {} \; > local_hashes.txt
     

  2. 获取S3桶中文件的哈希信息：
     • 对于小文件（默认小于8MB，未触发分块上传），S3的ETag就是文件的MD5哈希值，你可以用这条命令导出：

       aws s3api list-objects-v2 --bucket mybucket --output text --query 'Contents[].{Key: Key, ETag: ETag}' | sed 's/"//g' > s3_hashes.txt
       

     • 对于大文件（分块上传的），ETag格式会是[分块MD5拼接值]-[分块数量]，这时候直接对比MD5会不匹配，你可以通过以下方式验证：

       # 下载S3文件并计算SHA256哈希，和本地文件的哈希对比
       aws s3 cp s3://mybucket/path/to/large-file - | sha256sum
       # 本地计算该文件的哈希
       sha256sum path/to/large-file
       

  3. 对比两个哈希文件，确保每个本地文件都能在S3的列表中找到对应的匹配项。

• 统计文件数量快速排查
  先统计本地的文件总数：

  find . -type f | wc -l
  

  再统计S3桶中的文件总数：

  aws s3 ls s3://mybucket --recursive | wc -l
  

  如果两个数字完全一致，说明文件数量对上了，再随机抽查几个文件的大小和内容，基本就能确认传输完整；如果数量不一样，就说明肯定有文件漏传或多传，需要进一步定位问题。

备注：内容来源于stack exchange，提问作者Franck Dernoncourt