aws s3 cp命令原子性及线程安全性咨询（含递归、分片场景）

问题1：aws s3 cp 本身的原子性与线程安全性 #

• 线程安全性
  AWS CLI 内置原生多线程传输能力，默认会根据文件大小自动启用并发传输，无需手动启动多线程执行同一条aws s3 cp命令。
  • 若并发执行多个独立的aws s3 cp命令，且不同命令的目标本地路径无重叠，操作完全线程安全。
  • 若多个命令同时写入同一个本地目标路径，会出现文件覆盖、写入冲突问题，不属于线程安全场景。
• 原子性
  单个文件的aws s3 cp下载操作是原子的：CLI 会先将数据写入本地临时文件，全部下载完成后才会重命名为最终目标文件，不存在半截文件的中间状态，最终要么得到完整的目标文件，要么没有该文件。
  若手动多线程重复执行同一文件的拷贝命令，后续执行的命令会静默覆盖已有目标文件，覆盖过程本身也是原子的，但会导致原有文件丢失。

问题2：携带--recursive参数和multi-part选项时的原子性 #

• --recursive参数场景
  递归批量拷贝操作不具备整体原子性：命令会逐个处理S3前缀下的所有对象，中途中断的话，已经处理完成的文件会保留在目标路径，未处理完成的文件不会出现半截内容，但无法做到所有文件要么全部拷贝完成、要么全部不写入的全量原子效果。
• multi-part场景
  不管是上传还是下载，单个文件的multi-part操作依然具备原子性：
  • 下载场景：CLI 会将大文件拆分为多个分片并发下载，全部分片下载拼接完成后才会重命名为最终文件，不会出现半截文件。
  • 上传场景：S3 服务端的multi-part上传只有在所有分片提交、complete动作执行完成后，对象才会对外可见，未完成的分片不会暴露给用户，也不会占用目标对象路径。

适配你场景的额外提示 #

你的待拷贝对象大小在5KB~300MB区间，AWS CLI 默认的multi-part触发阈值为8MB，大于8MB的文件会自动启用分片传输，无需手动配置额外参数。不要手动启动多线程执行同一条aws s3 cp命令，默认的并发逻辑已经做了优化，手动多开反而容易触发本地IO竞争、请求限流问题，你可以通过aws configure set default.s3.max_concurrent_requests <并发数>调整默认并发量适配你的网络情况。

内容的提问来源于stack exchange，提问作者TheCodeCache