AWS S3单个文件是否存在并发读写操作数量限制？

并发操作数量限制 #

• S3 对单个对象的并发读写没有硬性的预设上限，但实际能跑起来的并发数受几个实际因素影响：
  • 请求类型差异：读操作（GET/HEAD）的扩展性极强，只要你的客户端和网络带宽顶得住，基本不会碰到瓶颈；写/改操作（PUT/DELETE/POST）的话，单对象高并发写入会受底层存储节点的处理能力限制，但因为你不要求数据一致性，不用纠结版本冲突的问题，顶多偶尔出现请求失败，加个重试逻辑就能搞定。
  • 账户全局配额：你的AWS账户有全局的请求速率配额（默认每秒数千次级别），不过这个配额完全可以通过AWS Support申请提升，只要你的使用场景合理，审批通过率很高。

针对你的场景的实用建议 #

• 既然不用考虑数据一致性，直接并行发起读写请求就行，不用额外加分布式锁或者一致性校验的逻辑，能省不少事，也能最大化处理效率。
• 其实处理大文件更推荐的方式是先把它拆成多个小对象存在S3里，并行处理小对象的效率会更高，也能避开单对象高并发可能带来的潜在瓶颈，S3对多对象的并发支持本来就更灵活。
• 如果必须处理单个大文件，建议用S3的分段上传（Multipart Upload）做并行写入——这玩意儿就是专门为大文件并行上传设计的，每个分段可以独立上传，最后再合并成完整对象，比直接怼单对象的并行PUT稳定得多。

内容的提问来源于stack exchange，提问作者Akarshan Chatterjee