如何不使用MemoryStream或本地文件直接将大对象流式传输至AWS S3
无需预存全量内容的S3超大对象写入方案
完全可以实现,主流AWS SDK都原生支持对应能力,核心是利用S3多部分上传(MPU)的分片特性,边生成内容边分片上传,全程不需要将完整对象缓存到本地磁盘或内存。
注意:S3是对象存储,不支持随机写入或直接打开流写入,上述方案是通过MPU的分片上传能力模拟了“边生成边写入”的效果,本质是按顺序生成分片、按顺序上传拼接。
具体实现逻辑
- 初始化多部分上传
调用S3的CreateMultipartUpload接口,指定目标存储桶、对象键,获得唯一的UploadId,后续所有分片上传都需要关联这个ID。 - 边生成内容边上传分片
S3要求除最后一个分片外,其余分片大小需在5MB~5GB之间,官方推荐分片大小为100MB左右(可平衡上传效率与请求次数,25GB对象按100MB分片计算仅需250个分片,远低于MPU最多10000分片的上限)。
你在代码中生成内容时,只需维护一个固定容量的内存缓冲区(比如100MB大小):生成的内容先写入缓冲区,缓冲区满后直接调用UploadPart接口将当前缓冲区内容作为一个分片上传,同时记录该分片的序号(PartNumber)和接口返回的ETag值,随后清空缓冲区继续生成下一块内容。 - 完成上传
所有内容生成完毕后,将缓冲区剩余的不足一个分片大小的内容作为最后一个分片上传,最后调用CompleteMultipartUpload接口,传入之前记录的全部分片的序号、ETag列表,S3会自动将所有分片拼接为完整的大对象。
关键优化与注意事项
- 内存占用极低:仅需维护固定大小的缓冲区(如100MB)即可处理25GB甚至更大的对象,远低于全量写入MemoryStream的内存占用,也无需预留本地磁盘空间。
- 断点续传能力:如果内容生成或上传过程中断,可通过
ListParts接口拉取指定UploadId下已上传成功的分片列表,跳过已完成的分片继续上传,无需从头生成全量内容。 - 成本清理:如果流程主动终止或出现不可恢复的错误,记得调用
AbortMultipartUpload接口清理S3端已上传的零散分片,避免产生不必要的存储费用。 - 分片大小选择:不要设置过小的分片(如小于5MB会报错,过小的分片总数会超过10000上限),也不要设置过大的分片导致内存占用过高,5MB~500MB区间均可适配大多数场景。
内容的提问来源于stack exchange,提问作者srk
相关产品推荐
相关产品推荐

