S3上传效率对比：单独上传文件 vs 先整传再桶内移动哪种更快？

方案2（直接将每个文件上传到最终目标路径）效率远高于方案1

方案1的额外开销分析 #

• 要执行双倍的S3对象操作：上传阶段完成后，每个文件都需要额外执行1次COPY请求+1次DELETE请求，单个目录1000个文件就要多产生2000次API请求，文件量越大额外耗时越高，同时还会增加S3请求成本。
• 大于5GB的文件S3不支持单请求COPY，需要额外执行分片COPY逻辑，进一步拉长整体耗时。
• S3内部复制操作虽然不占用本地带宽，但仍受限于S3的API请求速率限制，大批量操作很容易触发限流导致耗时翻倍。

方案2的优势说明 #

• 全程仅需执行1次上传逻辑，没有后续复制删除的额外开销，总耗时仅等于文件上传到S3的时间，没有冗余操作。
• 你担心的并行上传能力不需要自己实现：所有AWS官方SDK都原生支持并发上传、大文件自动分片配置，你只需要遍历本地文件，直接指定S3对象Key为你需要的「独立目录+文件名」格式，把上传任务提交给SDK的传输管理器即可，完全可以获得和批量上传原目录结构一致的并行上传效率。
• 额外提示：S3本身没有真实目录结构，你只需要给对象Key设置对应的前缀即可实现「每个文件存放在独立目录」的效果，不需要提前创建目录。

补充优化建议 #

如果使用AWS CLI批量操作，可以直接通过参数指定前缀规则，比自行调用SDK开发更简单，单文件大于8MB时会自动启用分片上传，默认并发数为10，可通过aws s3 cp命令的--concurrency参数调整并发数适配你的带宽情况。

内容的提问来源于stack exchange，提问作者psmith